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Diseño y evaluación de proyectos educativos 


Resultados de aprendizaje 


e Analizar el proyecto educativo junto a los tipos existentes que se 
pueden formular. 


e Identificar la importancia del proyecto educativo y las etapas de 
desarrollo. 


e Estudiar metodologías de trabajo innovadoras de proyectos educativos. 
e Determinar las características de los proyectos educativos. 
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Bibliografía 


5. Características 


2. Proyecto educativo 


Diseño y evaluación de proyectos educativos 


1. Introducción al proyecto educativo 
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Reglamento interno 


° El Reglamento Interno regula el funcionamiento técnico administrativo 
del establecimiento, fija normas y procedimientos de convivencia y 
define protocolos orientados al resguardo de derechos, entre otros 
aspectos claves para favorecer la función social de la educación. 


e UNICEF: 
https://www.unicef.ore/chile/media/4656/file/Reglamento%20Educaci 
%C3%B3n%20B%C3%A1sica%20y%20Media%201.pdf 
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Plan de convivencia 


e El Plan de convivencia es fundamental en un centro educativo. Es una 
guía ante posibles conflictos y problemas en la comunidad escolar y un 
elemento más en un planteamiento global de la educación que va más 
allá de enseñar conocimientos teóricos. 


° Instructivo: https://educacion.gob.ec/wp- 


content/uploads/downloads/2021/04/Politica-Nacional-de- 
Convivencia-Escolar.pdf 
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Proyecto educativo 


° Implica identificar el problema a atender, causas y consecuencias. 


e Planear un proceso para alcanzar una meta que pueda solucionarlo 
total o parcialmente. 


e El Proyecto Educativo es el documento referente que fracciona la 
institución educativa, lo transforma en una realidad organizada y 
culturalmente significativa, describiendo las opciones y aspiraciones de 
una forma clara, coherente y comunicable. 
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Organización de la Institución educativa (1E) 


e Incorporará las normas de organización y funcionamiento, con especial 
atención a la coordinación docente y administrativa. 
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Propuesta curricular 


° La propuesta curricular es el instrumento que permite a la institución 
educativa definir y concretar su intervención educativa en la etapa a partir 
del currículo nacional de acuerdo al nivel, en base a decisiones adecuadas al 
contexto, tomadas de forma consensuada por los docentes. 


° La propuesta curricular de acuerdo con la LOEI 


e Nuevo reglamento https: //www.educacionbilingue.gob.ec/wp- 


content/uploads/2023/04/REGLAMENTO-GENERAL-A-LA-LEY- 
ORGA%CC%81NICA-DE-EDUCACIO%CC%81N-INTERCULTURA.paf 
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Propuesta pedagógica 


° Es el documento en el que se plasman las intenciones filosófico— 
pedagógicas que una institución educativa propone para el desarrollo 
de su quehacer educativo. 


e Lineamientos para la construcción de la propuesta pedagógica: 


e https://educacion.gob.ec/wp- 
content/uploads/downloads/2020/07/Lineamientos-para-la- 
construccion-Propuesta-Pedagogica-tercera-edicion.pdf 
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Plan de atención a la diversidad. 


e La atención a la diversidad comprende el conjunto de actuaciones dirigidas a dar respuesta a las 
diferentes capacidades, motivaciones, intereses, situaciones socioeconómicas y culturales, 
lingüísticas y de salud, con la finalidad de facilitar la adquisición de las competencias clave y el 
logro de los objetivos generales de las etapas. 


° Con este fin, cada institución educativa planteará un proyecto con las medidas de atención a la 
l que les permitan una atencion personalizada en funcion de las necesidades de sus 
estudiantes. 


La respuesta para atender a la diversidad se compone de medidas y recursos, generales y 
especificos. 


e Principios de atención a la diversidad: https://educacion.gob.ec/principios-de-atencion-a-la- 


diversidad/ 
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igualdad de oportunidades 


e Los programas dirigidos a fomentar el conocimiento y la difusión, entre 
las personas de la comunidad educativa, de la igualdad de 
oportunidades y la efectiva inclusión de las personas con 
discapacidad. 


e Ejemplo de un Modelo de educación inclusiva y especial: 
https://educacion.gob.ec/wp- 
content/uploads/downloads/2013/07/Modulo Trabajo El.pdf 
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Principio de la igualdad 


El principio de igualdad de trato entre mujeres y hombres supone la ausencia de toda 
discriminación, directa o indirecta, por razón de sexo, cultura o religión. Especialmente, las 
derivadas de la maternidad, la asunción de obligaciones familiares y el estado civil. 


Directrices para el fomento de la igualdad real y efectiva entre hombres y mujeres. 


Inclusión de hombres y mujeres: https: 
content/uploads/downloads/2019/03/ 


Construyendo igualdad: https: 
content/uploads/downloads/2018/11/ 


superior nov _2018.pc 


« 


Plan de acción tutorial (PAT) 


* El Plan de acción tutorial (PAT) es un documento de gestión institucional, a 
medio o largo plazo, que explicita la organización de las tutorías en una 
institución 


e Valores para el docente tutor: https://educacion.gob.ec/wp- 
content/uploads/downloads/201/ . Guia Docentes Tutores Valores. 


° Para universidades (RRA): 
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Proyectos escolares 


° Los proyectos escolares son espacios de aprendizaje interactivos que 
buscan desarrollar tanto las habilidades cognitivas, como las 
socioemocionales, es decir, contribuir al desarrollo integral del 
estudiante. 


° Instructivo: https://educacion.gob.ec/wp- 


content/uploads/downloads/2017/04/Instructivo-Proyectos- 


Escolares.pdf 
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an de evaluación de procesos de enseñanza y de la práctica 
ocente 


e Modelo de evaluación docente Ecuador: 
https://www.evaluacion.gob.ec/wp- 
content/uploads/downloads/2017/08/MED librodigital 20170814.pdf 
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Criterios de tipos de proyectos 
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e Cierto e Materiales e Externos 
e Incierto e Inmateriales e Internos 
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Tipos de proyectos educativos 


Proyecto curricular 


° Un proyecto curricular es un plan de trabajo que recoge las decisiones 
que ha tomado el profesorado, a partir del estudio del contexto de su 
centro, sobre los objetivos, los contenidos, los métodos pedagógicos y 
los criterios de evaluación en cada una de las etapas formativas. (PCI) 
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Proyecto curricular de aula 
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El Proyecto Curricular es un instrumento Tecnico-Pedagogico que emana del Proyecto 
Educativo Institucional (PEI) y está al servicio de los objetivos educacionales de la IE. 


Se concreta el Diseño Curricular mediante una programación detallada que garantice la 
progresión y la coherencia de los contenidos educativos seleccionados, los métodos y 
estrategias, los valores y actitudes, las capacidades y destrezas propuestas por los actores 
de ha Ss educativa como objetivos del proceso de aprendizaje a lo ise de la 
escolaridad. 


De esta manera, el Proyecto curricular de aula se convierte en un instrumento de 
coherencia educativa, una guia abierta y flexible y un medio dinamizador de la accion 
educativa mediante el cual se concreta el “deber ser” de la IE y esta en concordancia con el 
Diseño Curricular Base (DCB). 
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Proyecto curricular de aula 


e La actividad docente de cada profesor y sus programaciones de aula 
deben estar de acuerdo con las directrices marcadas por las 
programaciones didácticas de los departamentos. 
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Programaciones de área y materia 


° Las programaciones de área y materia son ante todo un instrumento de 
planificación de la actividad del grupo, establecen los objetivos, 
contenidos, experiencias de enseñanza aprendizaje, criterios 
metodológicos de selección de materiales y recursos didácticos, y 
criterios e instrumentos para la evaluación, que ese establecen a partir 
del PCI. 
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Programación de aula 


e La programación del aula es un documento que recoge el conjunto 
de unidades didácticas. Por lo tanto, en él deberá aparecer las 
diferentes acciones que te permitirán transformar las intenciones 
educativas en actuaciones tangibles. 


e La Unidad didáctica debe programarse en un tiempo concreto, con una 
metodología de acuerdo con los contenidos y objetivos establecidos. 
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Programación de aula 


e Esun instrumento técnico que: 
e Reduce la improvisación e incertidumbre entre los estudiantes. 


e Analiza y reflexionar sobre el proceso de enseñanza aprendizaje de forma individualizada y 
en su conjunto. 


e Define los contenidos y metodología de una forma mucho más adaptada a las necesidades 
educativas del alumnado. 


Planifica los recursos necesarios para lograr los objetivos establecidos. 


° Evalúa la acción educativa y el proceso de enseñanza aprendizaje. Es decir, verifica que los 
métodos y recursos empleados son los correctos. 


° A un cronograma de acciones en el que se tenga en cuenta la secuencia del curso 
escolar. 
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Programación de aula 


e Cronograma debe tomar en cuenta actividades culturales y festivas de 
las instituciones, tiempos de evaluación y revisión de tareas, tiempo de 
refuerzo y apoyo. 
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Programación de aula 


e Los principios didácticos para su evaluación son: 


° Orienta al estudiante para la organización del conocimiento, tareas y 
evaluaciones. 


e La programación es una reflexión sobre el sentido de los contenidos y las 
metodologías idóneas. 


e La programación articula actividades y tareas que permitan conseguir los 
objetivos. 


° Debe tener una coherencia lógica y psicológica. 
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Definición de Proyecto Educativo 


° Son las iniciativas que persiguen objetivos de formación y aprendizaje en un 
contexto determinado, que puede ser de lo más tradicional a lo más innovador. 


e Una característica básica de los proyectos escolares y formativos es que están 
enfocados a generar un cambio en los entornos. La educación transforma y 
ermite nuevas maneras de entender las relaciones y las dinamicas sociales. En 
unción de lo anterior, cada proyecto educativo puede enfocarse en objetivos en 
sus propias prioridades. 


e Como todo proyecto, surgen del diagnóstico de una necesidad específica y, por lo 
general, estan ligados al sistema educativo que opera en dicha zona, mas alla de 
si es de carácter público o privado. 
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Tres intenciones del PE 


° Es una propuesta integral y global basada en la identidad, valores y 
objetivos de la institución 


e Debe tener una intencionalidad educativa clara. 


° Da respuesta equitativa y de calidad para que adquieran las 
competencias y el éxito 
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Enfoques de los proyectos educativos 


° Los enfoques de proyectos educativos más conocidos son: 
e Proyectos educativos ejecutados en un centro o institución específicos. 
e Proyectos educativos relativos a un sistema educativo. 
e Proyectos educativos que se desarrollan fuera del sistema educativo. 
e Proyectos educativos de aprendizaje especializado. 
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Elementos del Proyecto Educativo 


e El carácter propio del centro. 
° Los objetivos generales y finalidades del centro. 
e La estructura organizativa descrita en el reglamento de organización y 


e funciones. 
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Consideraciones para un Proyecto educativo 


Temporalidad: tiene carácter temporal y ha de ser revisado de forma periódica para 
adaptarlo a las nuevas realidades. 


VO: ha de implicar a toda la comunidad educativa, desde docentes a padres y 
alumnos. 


e Legal: o sea, ha de cumplir la normativa establecida siguiendo la legislación vigente. 
° Objetivos: define la institución y sus objetivos en un entorno de mejora continua. 


Brevedad: el proyecto especifica aspectos clave de forma breve y concisa. El desarrollo de 
dichos aspectos se encuentra en el Reglamento de Organización y Funcionamiento o en el 
Proyecto Curricular. 


Integrador: finalmente, ha de garantizar la integración de toda la comunidad educativa en 
un entorno de convivencia y respeto. 


5 


Diseño y evaluación de proyectos educativos 


Fuentes del proyecto educativo 


e Identidad: ideario establecido, signos de identidad. 

e Sistema educativo: leyes, órdenes, autoridades. Comprensión del 
sistema educativo para poder seleccionar las estrategias de enseñanza- 
aprendizaje 

e Contexto sociocultural: conocer el entorno cultural y familiar, la 
cosmovisión de la sociedad, perfiles de estudiantes y docentes. 
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3. Etapas del proyecto educativo 


e Existen diferentes maneras de desarrollar un proyecto educativo, de 
acuerdo a sus intenciones: 
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Modelo 1 


Implica escoger recursos, actividades e intercambio de inquietudes, establecimiento de metas, 
identificación de necesidades, metas, intereses y propuestas del estudiantado. 


° Análisis de la situación educativa: se analizan las necesidades de los alumnos, teniendo en cuenta 
las opiniones expresadas por los directivos, docentes y alumnos. Se definen las causas y 
consecuencias y si se puede resolver. 


° Selección y definición del problema: algunas sugerencias son: verificar que el problema tenga 
solución viable a corto plazo. Contar con el apoyo de las autoridades institucionales. Verificar que el 
problema aporte al progreso de la institución, del grupo al que se atiende o de una población 
específica., o revisar para asegurarse que el problema está bien delimitado. 


° Definición de los objetivos del proyecto educativo: una vez planteado el problema, se definen los 
objetivos oa y sa para saber hacia dónde se dirige el proyecto y lo que se espera 
obtener o lograr. Estos deben estar relacionados con la problematica a resolver, claros y concretos, 


así como precisos y viables. 
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Modelo 1 


° Justificación del proyecto: son las razones por las que se considera necesario 
implementar el proyecto. Debe describir el problema y por qué debe de atenderse, 
la utilidad que aportará a la comunidad educativa y la factibilidad para su 
implementación, así como sus limitaciones. 


e Planificación de las acciones: diseñar la solución a un problema educativo lleva 
implícita la exposición de las acciones correctivas. Se estructura en secuencias de 
actividades que permitan separar las fases y tareas, delimitando los plazos y 
quienes las realizarán. 


e Recursos, materiales y tecnológicos humanos: quienes participarán en el proyecto, 
sus roles y funciones. Materiales: recursos a utilizar en la instrumentación del 
proyecto. Tecnológicos: equipos necesarios para la instrumentación del proyecto. 
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Modelo 1 


e Evaluación: el proyecto educativo se evalúa de dos formas diferentes: 
Evaluación del proceso: se refiere al cumplimiento de la programación 
de cada una de las actividades, utilización de los recursos, 
cumplimiento de los tiempos, entre otros. 


e Evaluación de los resultados: recoge los principales resultados o logros 
relacionados con los objetivos y permite, a partir del análisis de los 
datos, establecer el cumplimiento de dichos objetivos. 
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Modelo 2 


° Se divide el proyecto en la esquematización de diversas secciones para desarrollar las actividades. Las 
vemos: 


° 1. Eon Hide: se establece el area problematica, que sera el punto de partida que justifica la elaboracion del 
proyecto. 


e 2. Delimitación: se centraliza el análisis específico. 


° 3. Fundamentación: se describe con detalle las condiciones que influyen en la problemática a tratar. Se 
analizan caracteristicas como la situación social, el momento histórico, etc. Se fundamenta el análisis 
detallado, se establece una bibliografía, se compara con otros modelos de proyecto, etc. 


° 4. Planificación: se determinan los requisitos necesarios respondiendo a interrogantes como las técnicas 
que se usarán, el lugar donde llevar a cabo las actividades, los recursos que se tienen, las personas que 
contribuirán en mayor o menor grado, el tiempo de realización, la evaluación, etc. 


° 5. Objetivos: se establecen los objetivos específicos para estructurar el proyecto en base a pequeñas metas. 
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Modelo 3 


e Vamos conociendo el tercer modelo de proyecto educativo que será el que determine el camino a 
seguir para alcanzar los objetivos que se propusieron. Para ello consta de: 


° 1, Metodología: se selecciona el proceso metodológico óptimo tras tomar en consideración 
elementos como la especificación de herramientas que se vayan a emplear, actividades ° 
específicas que se realizarán, definición del grupo de personas con el que trabajar, elaboración en 


Y 


detalle de sexo y formación de los integrantes del grupo, identificación de la muestra, etc. 
e 2. Análisis: obtenidos los datos, se usan los instrumentos adecuados para su análisis. 


° 3. Recursos: se elabora el ee conociendo la disposición de recursos materiales como 
audiovisuales, transporte, culturales, etc. 


e 4. Recursos humanos: se tendrá en cuenta a las personas que participarán en el proyecto y que 
llevarán a cabo las actividades. 


e 5. Presupuesto: se elabora un reparto del presupuesto adaptado como recursos financieros para 
adquirir instrumentos y herramientas necesarias, contrato de personal, etc. | 


Diseño y evaluación de proyectos educativos 


4. Factores básicos que caracterizan al PE 


e Los proyectos representan un tipo de actividad especial, esporádica y 


programada con los que toda empresa se enfrenta en algún momento de su 
ciclo vital. 


e Los proyectos tienen unas características propias que los hacen diferentes 
del resto de actividades que se realizan en la empresa. 


° Del entorno surge la necesidad de diseñar y desarrollar proyectos que 
permitan a la empresa adaptarse de forma versátil a las continuas 
situaciones de inestabilidad que día a día tiene que afrontar. 
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5. Características de un proyecto 


e Trascendencia 

e Utilización de recursos variados y cambiantes 
e Discontinuidad 

e Dinamismo y evolución 

e Irreversibilidad 

e Influencias externas 

° Riesgos 
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Resultados de aprendizaje 


e Analizar el proyecto educativo junto a los tipos existentes que se 
pueden formular. 


e Identificar la importancia del proyecto educativo y las etapas de 
desarrollo. 


e Estudiar metodologías de trabajo innovadoras de proyectos 
educativos. 


e Determinar las características de los proyectos educativos. 
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Innovación educativa 


e La introducción de las nuevas tecnologías 


e Ha cambiado el paradigma de educación, porque ya no se 
trata de un grupo de estudiantes pasivos que escuchan a un 
profesor, que es la única persona activa, sino de un 
aprendizaje conjunto en el que todas las personas son activas. 


e ES un proceso de cambio en la enseñanza y se basa en cuatro 
elementos fundamentales: las personas, el conocimiento, los 
procesos y la tecnologia. 
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Tendencias de la innovación educativa 


e Gamificación: consiste en utilizar juegos para enseñar y 
potenciar la motivación de los estudiantes. De esta forma se 
logra que el aprendizaje sea una experiencia positiva y 
motivadora. 


e Pedagogía inversa: El cambio de roles de profesores y 
estudiantes de manera que estos últimos participen de forma 
activa en su propio proceso de aprendizaje. 
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Tendencias de la innovación educativa 


e Aprendizaje colaborativo: La enseñanza de valores es uno de los 
elementos más relevantes en el proceso de aprendizaje, el 
aprendizaje colaborativo fomenta valores como el respeto, la 
responsabilidad o la igualdad. Por otro lado aprenden a colaborar, a 
ayudar a otros y a comunicarse correctamente. Todos los valores y 
habilidades serán fundamentales en la vida de adulto de cada 
persona. 


e Realidad virtual y realidad aumentada. El uso de nuevas 
tecnologias, estas pueden ser unas herramientas excelentes para, 
la enseñanza de historia o geografia. 
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Tendencias de la innovación educativa 


e Aprendizaje por proyectos: se forman equipos de trabajos y se desarrollan 
proyectos con una finalidad determinada. En el aula se puede trabajar de forma 
parecida tanto en grupo como individualmente. 


e Formación a los profesores: la formación continua es fundamental para la 
innovación educativa. 


e Gestión del centro. La innovación educativa también deriva de la forma en la 
que se gestionan las escuelas, no solo se trata de usar nuevas tecnologías en el 
aula, sino de implantar una nueva forma de ver la enseñanza, una nueva cultura 
innovadora y una administración y gestión innovadora. En algunos casos, 
pueden existir resistencias puesto que se puede pensar que los cambios 
pueden afectar al prestigio del centro. Pero, aunque la esencia del centro 
anio los cambios son necesarios para adaptarse a las necesidades de 
os estudiantes actuales. 
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Proyecto innovador 


° Un proyecto de innovación educativa se caracteriza por abordar las 
necesidades o problemáticas de una institución educativa desde una 
perspectiva diferente a través de actividades nuevas y creativas que 
fomenten el aprendizaje de forma original. 
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Claves para el desarrollo de proyectos innovadores 


e Compromiso docente: los profesores deben estar en continua formación 
con el objetivo de ser creativo y aplicar métodos de enseñanza originales. 


° Trabajo conjunto: para conseguir desarrollar proyectos de innovación 
educativa es preciso que tanto docentes como la comunidad educativa 
trabajen en equipo creando un ambiente propicio. 


e Cambios metodológicos: estos proyectos suponen pasar del método 
tradicional de memorización de conceptos a otros que precisan de la acción 
del alumnado y su implicación, desarrollando con ello la competencia de 
aprender a aprender. 


Diseño y evaluación de proyectos educativos 


Claves para el desarrollo de proyectos innovadores 


° Tiempo adecuado: se requiere de un tiempo prolongado para su realización 
debido a todos los aspectos que se trabajan en el mismo. Por eso, son 
iniciativas que deben realizarse respetando los tiempos necesarios, con 
periodos para reflexionar, otros para actuar y permitiendo al alumnado 
equivocarse y realizar nuevos intentos en el proceso. 


e Atención a la diversidad: no todos los niños y niñas son iguales, por lo que 
una de las claves de estos proyectos es la atención a la diversidad. La 
innovación educativa busca el desarrollo de todo el alumnado a través de 
actividades y espacios adaptados a las diferentes capacidades y necesidades. 


Diseño y evaluación de proyectos educativos 


Estructura de los proyectos de innovación educativa 


° Análisis inicial: Antes de comenzar se observa y analiza la situación, así como las necesidades de los 
estudiantes, para establecer el tema a trabajar. 


° Problema: Se marca el problema o situación al que se va a buscar una solución. 


° Planificación: Una vez se conoce cuál es la situación a resolver se planifican las actividades a llevar a cabo, su 
orden y temporalidad. 


° Objetivos: Se continúan estableciendo los objetivos que se pretenden conseguir con el proyecto. 


° Recursos: Se marcan los recursos disponibles y necesarios para poder realizarlo, tanto a nivel material como 
tecnológico y humano. 


° Evaluación: Se realiza durante el proceso —para constatar si está funcionando o requiere de modificaciones— 
y al finalizar para verificar que se han logrado los objetivos y resuelto la problemática inicial. 


° Memoria final: Al terminar un proyecto se puede redactar una memoria final en la que se recoja el proceso y 
resultados, así como el análisis de posibles modificaciones futuras en caso de volverse a realizar. 


Diseño y evaluación de proyectos educativos 


Ejemplos de proyectos innovadores 


° KIVA: bullying (Finlandia) 

° Science Lab: Aumenta conocimientos en ciencias 

e AporTICs: compila documentos para compartir. 

e Apps for Good: mejora la motivación de los estudiantes a través de las tics (Escocia). 
e Escuela nueva, un modelo de educación para entornos vulnerables (Colombia). 

° Agora, escuela sin lecciones (paises bajos). 

° Diginitas project. Convirtiendo la escuela en un lugar emocionante (Kenia). 

° Project DEFY: Diseña tu propia educación y créetelo (India) 


e Modelo de educación autosostenible (Paraguay) 


Diseño y evaluación de proyectos educativos 


Pasos para el trabajo sobre el proyecto innovador 


1. Identificar las necesidades de la institución, los estudiantes y la comunidad en general: Del análisis previo a la institución, permitirá 
identificar sus necesidades. Así se podrá saber cómo dar respuesta a lo que buscan la institución y la comunidad educativa. 


2. Dar con la idea apropiada. Cuando se va a crear un proyecto innovador, tener una buena idea es casi la fase principal de su creación. 
Pero que surja de manera espontánea es muy complicado. Por eso se suele dar con la adecuada a de una tormenta de ideas. 
En ellas, siempre con el análisis realizado en mente, los participantes exponen sus ideas, siempre relacionadas con un tema principal, 
para crear un proyecto innovador. 


3. Selección de ideas. Tras la fase de tormenta de ideas llega el momento de escoger las más destacadas. nl ede hay que descartar las 
que van a tener menos posibilidades de resultar en un proyecto innovador con éxito. Para las que queden, hay que proponer título, 
objetivos, metas. 


4. Concretar las ventajas de cada idea. Tanto si ya está seleccionada la idea que dará lugar a un proyecto innovador definitivo como si 
hay que hacer una última selección, llega el momento de determinar qué ventajas tendrá el proyecto resultado de esta idea. Así 
también podrás, si es necesario, realizar una última selección de la mejor o mejores ideas. 


5. Determinar el o los beneficiarios directos e indirectos. En este punto es imprescindible contar con el análisis de situación. Con él se 
pueden detectar las preferencias de los beneficiarios, así como de manera más concreta: por sexo, grupo de edad, necesidades 
especiales, etc. De esta manera se puede identificar el público al que iría dirigido el proyecto innovador, y dar con la mejor manera 
no solo de dirigirse a él, sino también de realizarlo para que tenga éxito. 


Diseño y evaluación de proyectos educativos 


Pasos para el trabajo sobre el proyecto innovador 


6. Creación de la propuesta. En este punto ya se ha decidido cuál será el proyecto innovador. Se debe 
incluir obligatoriamente varios de los datos con los que se ha recopilado en fases anteriores. 


7. Test y desarrollo. Tras la aprobación del modelo del proyecto llega el momento de dar forma. 
Primero con un test o versión de prueba. Servirá para testear su funcionamiento o acogida, por 
ejemplo, entre grupos beneficiarios a los que se puede presentar. Así conseguirás también las 
primeras impresiones de su público objetivo potencial. La información valiosa para poder hacer 
alguna mejora o modificación en el mismo. Una vez pasada la fase de prueba, ya se puede proceder a 
la implementación del mismo. 


8. Plan de implementación. El proyecto innovador ya está se debe contar con un plan de _ 
implementación y comunicación. Además, el plan debe estar preparado para recoger las primeras 
impresiones que tendrá el público objetivo del proyecto innovador cuando lo vea o pruebe por 
primera vez. 


10. Evaluación. Tras la implementación del proyecto, cuando ya los beneficiarios hayan empezado a 
adoptarlo y aceptarlo, llega la última fase, la evaluación del mismo. Para ello, se debe tener un plan 
para poder ejecutarlo y conocer el cumplimiento de sus objetivos y metas. 


Diseño y evaluación de proyectos educativos 
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Metodologia de Marco Lógico (MML) 
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Metodología del Marco Lógico 


Fortalece las debilidades en la formulación de proyectos 


e Guía lógica | * Formulación de problemas y objetivos 
F (traza el | *Coherencia de los resultados vs lo planeado 
Metodología . 
camino) 
adecuada . 
. e Herramienta 
_ óptima para La MML se integra fácilmente en las fases de ciclo de vida 
E ; el logro de de los proyectos 
objetivos 


evaluación 


de Proyectos un 
La MML es un referente para proyectos del sector público y de 


cooperación internacional 
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Conceptualización del Marco Lógico 


e La Metodología de Marco Lógico es una herramienta para el análisis y 
la planificación estructurada que facilita el proceso de identificación, 
diseño, ejecución y evaluación de los proyectos 


Conceptualización del Marco Lógico 


e Consiste en un esquema lógico que permite dar cuenta de cualquier 
proyecto, sea social, productivo o de fomento, que aporta con una 
terminología uniforme que facilita la comunicación, reduce 
ambigúedades al momento de realizar los análisis del problema, 
planificar su respuesta y facilita sobre todo la toma de decisiones de 
cómo abordarlo. 


Conceptualización del Marco Lógico 


Marco — 
Lógico — 


Evaluación 


Identificación Formulación 


--- -> 


Aprobación 


4- — — 


Implementa- 


ción 


Conceptualización del Marco Lógico 


e Esta herramienta contribuye a enfocar el trabajo técnico en los 
aspectos críticos del proyecto posibilitando la detención de vacíos y 
debilidades de las intervenciones. 


° Proporciona una estructura para expresar de manera ordenada. 


e Sintetizar la información más importante del proyecto 


Enfoque de Marco Lógico vs Matriz de Marco Lógico (MML) 


Enfoque de Marco Lógico Matriz de Marco Lógico 


e Análisis del problema e Resumen del proyecto. 
e Análisis de involucrados = = e Se especifica que es lo que se pretende 
e Jerarquía de objetivos hacer, cómo, cuáles son los presupuestos 


claves y cómo los insumos y 
productos/servicios del proyecto serán 
monitoreados y evaluados. 


e Selección estratégica de implementación 
óptima 


Matriz de Marco Lógico 


e La Matriz de Marco Lógico es un producto del enfoque del Marco 
Lógico. 

° El Enfoque de Marco Lógico (EML) es una ayuda para pensar más no 
un sustituto para el análisis creativo. 


e Esun instrumento que ayuda al análisis y permite presentar de 
manera concisa los diferentes aspectos del programa o proyecto. 


e Esta acompaña como guía de evaluación de la intervención. 


Actividad de autoaprendizaje 


° El enfoque de Marco Lógico o EML no es: 


a. Un instrumento que ayuda al análisis del proyecto y le permite presentar 
un producto concreto con los aspectos del proyecto o programa. 


b. Una herramienta de análisis y planificación estructurada que permite 
facilitar el proceso de identificación, diseño, ejecución y evaluación de 
proyectos. 


c. Una herramienta que acompaña como guia toda la evaluación de una 
intervención. 


d. Esun instrumento que no puede ser utilizado en las diferentes etapas de 
los procesos del ciclo de cualquier proyecto. 


Origen de la Metodología de Marco Lógico 


° La MML se originó para dar respuesta a tres problemas comunes de los 


proyectos: 
1 
| 

e La planificación de proyectos e Existían proyectos que no se e No existía una imagen clara 
carecía de precisión, contenía ejecutaban exitosamente, de las metas del proyecto si 
objetivos múltiples, no claros donde el alcance del tuviera éxito. Los evaluadores 
ni relacionados con las responsable del proyecto no no tenían una base objetiva 
actividades del proyecto estaba claramente definido. para comparar lo que se 


planeaba con lo que sucedía 
en la realidad y tomar 
medidas correctivas 


Origen de la Metodología de Marco Lógico 


° En este contexto se origina la Metodología de Marco Lógico como 
respuesta a las problemáticas. 


e Su aplicación sirvió como una herramienta de análisis estructurado de 
carácter flexible, que puede ser utilizada en distintas fases del 
proyecto (Diseño, ejecución, monitoreo y evaluación) 


Si la situación futura alcanzada no satisface 


la necesidad o resuelve el problema 
debemos comenzar el análisis desde la 
Nueva Situación Actual 


Situación inicial 
Comenzar aquí 
Eos C |]. 


Análisis de actores — —) 


Situación Actual $ Situación Futura “Deseada” 
Análisis d bi 
| aii si soni Ejecución del programa o proyecto 
Análisis de entorno 
Análisis de objetivos/soluciones E | 
Ea, Análisis de alternativas Alternativa seleccionada Matriz de Marco Lógico 


Formato clásico de la Matriz del Marco Lógico 


{ Descripcion Medios de 


Indicadores verificacion 
Pe 


Supuestos 


Objetivos a 


largo plazo 


Situación Actual: 


* El punto de inicio corresponde a plantearse un 
roblema o necesidad a resolver y trabajar, lo que nos 
eee: a realizar un analisis de la “Situacion Actual”. 
Esto implicara desarrollar diferentes analisis que 
permitan tener un panorama general de lo que se 
enfrentara durante el proyecto, esto incluye analizar el 
entorno, los involucrados o agentes claves 
Cie alentando analizar los problemas adyacentes y 
inalmente realizar un analisis de objetivos y 
soluciones. En el siguiente punto del curso, 
profundizaremos en algunos de estos analisis. 


I 


Análisis de alternativas: 


e Cuando se tiene el set de soluciones posibles para 
enfrentar la problemática central planteada, debemos 
realizar un análisis de alternativas (factibilidad y 
viabilidad), luego seleccionar cual será aquella que 
desarrollaremos en nuestro proyecto. 
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Alternativa seleccionada 


e Una vez seleccionada la alternativa a implementar, 
debemos entrar a la fase de diseño o formulación para 
lo que utilizaremos una herramienta llamada Matriz de 
Marco Lógico. 


I 


Ejecución del programa o proyecto: 


e Al tener el diseño final del proyecto, éste deberá ser 
implementado para posteriormente hacer seguimiento y 
evaluar sus resultados en contraste con la situación 
inicial al comienzo del proyecto. 


Matriz de Marco Lógico 


Formato clásico de la Matriz del Marco Lógico 


Objetivos a 
largo plazo 


Objetivos a 
mediano 
plazo 


Objetivos 
especificos 


alcanzar el 
proyecto? 
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Ejecución del programa o proyecto: 


e Al tener el diseño final del proyecto, éste deberá ser 
implementado para posteriormente hacer seguimiento y 
evaluar sus resultados en contraste con la situación 
inicial al comienzo del proyecto. 


Seleccione la respuesta correcta 


e ¿Cuál problema no pertenece al origen de la metodología de marco lógico? 


a. 


No había una terminología uniforme lo cual facilita la comunicación y redujera las 
ambigúedades al analizar un problema, planificar su respuesta y facilitar la toma de 
decisiones. 


No existía una imagen clara de cómo luciría el proyecto si tuviese éxito, y los 
evaluadores no tenían una base objetiva para comparar lo que se planeaba con lo 
que sucedía en la realidad. 


La planificación de proyectos carecía de precisión, contenía objetivos múltiples que 
no estaban relacionados con las actividades del proyecto. 


Existían proyectos que no se ejecutaban exitosamente, donde el alcance de la 
responsabilidad del gerente del proyecto no estaba claramente definido. 


Análisis del Contexto 


e El análisis de contexto sirve como punto de partida para ayudar a orientar al 
equipo a cargo del proyecto, respecto a la identificación de problemas, 
formulación y diseño de cada proyecto. 


e Antes de iniciar el trabajo analítico de forma detallada con los actores 
relevantes del proyecto (stakeholders), es importante llevar a cabo un análisis 
preliminar para tomar consciencia de las políticas sectoriales, organizacionales 
y del contexto social del país o lugar en que se desarrollará el proyecto. 


e Para que un proyecto sea relevante, necesita incorporar diversos elementos 
del entorno social, económico, medioambiental y del contexto político en el 
cual operará. 
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Análisis del Contexto 


° El foco principal del Análisis de contexto consiste en la 
recolección de información. Dado que la gran mayoría 
de los proyectos implementados por la FAO son 
implementados a nivel pais/subregional/regional, el 
primer paso incluye el analisis del pais, paises o 
regiones involucradas con el objetivo de abordar el 
contexto político, económico, social y cultural. 


° El principal objetivo del Análisis de Actores Relevantes consiste en: 


Identificar a las partes interesadas 7 


involucradas y sus necesidades. | 
Tomar en cuenta lo anterior para 


diseñar actividades apropiadas para 
abordar la solución de la problemática 
y la capacidad organizacional para su 
gestión. 


Entender los intereses de los distintos 
grupos, las relaciones entre ellos y su | 
nivel de influencia, así como su J h y 
capacidad para abordar el problema 
Ç identificado.. 


ww 


Analisis de Actores Relevantes 


° Es importante entender que la selección de los actores 
relevantes asociados a un proyecto influenciará el resultado 
del análisis del problema, ya que cada grupo de actores 
tendrá su perspectiva particular sobre el problema en 
cuestión. 


° Por ello es importante definir correctamente quiénes son los 
grupos de actores relevantes o stakeholders. 


Paso 1: Identificación de los 
involucrados 


Un proyecto puede tener actores 
relevantes o partes interesadas de 
muy variada y diferente índole. El 
primer paso que facilita el trabajo es 
dividirlos y clasificarlos en categorías. 


Beneficiarios 
Directos 


Beneficiarios 
Indirectos 


Corresponde a la población objetivo de un proyecto, 
es decir instituciones, grupos, organizaciones o 
individuos que serán directamente afectados por la 
ejecución del proyecto. 


Es la población meta final que será beneficiada por 
el proyecto en el largo plazo. 


Un Ministerio de Educación que utiliza 
una estrategia de reputación de los 
establecimientos educativos para 
posicionar la calidad educativa. 


Niños en la edad escolar que se 
benefician de un programa de 
seguridad escolar. 


Socios Corresponde a proveedores de servicios o socios 
implementadores que participarán en la ejecución del 
proyecto. Estos pueden implementar partes o 
proyectos completos, en nombre de la FAO. 


Otros Socios Todo el resto de actores involucrados (individuos y/o 
organizaciones) con interés o recursos en el área de 
ejecución o implementación del proyecto. 


Entidades del Gobierno Nacional, ONGs 


nacionales e internacionales, Entidades 
multilaterales intergubernamentales, 
instituciones académicas y de 
investigación. 


Entre estos son clave los socios de 
recursos/donantes para el proyecto o 
programa. 


e Paso 2: Consulta a actores relevantes: 


e Una vez identificados los actores relevantes, el paso siguiente consiste en llevar a cabo 
un proceso de consultas a las partes interesadas con el objetivo de recolectar 
información sobre: 


Roles, intereses, poder de 
influencia y capacidad de 
participación real en el 
proyecto. 


Actividades de aprendizaje 


e Complete el siguiente párrafo arrastrando la alternativa correcta del 
listado de palabras que se ofrecen: 


e La selección de los actores relevantes asociados a un influenciará 
el resultado del , ya que cada grupo tendrá su 


_ sobre el . Por ello es importante definir 
correctamente quiénes son los grupos de actores relevantes o stakeholders. 


a. Análisis del problema b. De actores c. interés d. Marco lógico 


e. Perspectiva particular f. proceso g. problema en cuestión 


h. Proyecto i. punto de vista j. tema 


e Existen diferentes herramientas para realizar el análisis 
de actores relevantes, una de ellas es la Matriz de 
Stakeholders, la cual constituye una herramienta 
flexible que permite agregar o sacar columnas de 
información según los requerimientos y profundidad del 
análisis. A continuación, se presenta la estructura de la 
matriz aplicada en un caso hipotético, donde el proyecto 
interviene el entorno de una población donde habitan 
familias pescadoras de bajos ingresos 


Familias de la UE: La falta de una UE 

X familias que cercana a la zona 
habitan la zona en afecta a los niños, 
que se realizará el niñas y adolescentes 
proyecto. 

Industrias: Preocupación por la 
Que trabajan en la imagen pública de la 
zona industria 


Mejorar la calidad de 
vida de los nna 


Responsabilidad 
social. 

Mano de obra 
calificada 


Limitada influencia política. Directo 


Cultura de la comunidad. 


Poseen recursos técnicos Directo 
para la instalación de una 

UET. 

Moviliza influencia política 


Zonal: 

Presentan proyectos 
para la mejora 
educativa del sector 


Socio: 

Ong que trabaja en la 
zona en proyectos 
educativos 


Falta de presupuesto 
asignado 


Problemas con la 
zonal por políticas 
públicas que pueden 
ser solventadas 


Mantener la imagen 
de la Zonal frente al 
Ministerio de 
Educación 


Mejorar la calidad de 
vida de los nna. 


Tiene la capacidad para Indirecto 


gestionar permisos 


Poseen recursos económicos Socio 
para la instalación de una 

UET. 

Moviliza influencia política 


Paso 3: Participación de los interesados 


El proceso de consulta y participación de los 
actores relevantes requiere proactividad y un 
enfoque que se extienda por sobre el horizonte 
temporal de la identificación y formulación del 
proyecto, de modo que la participación entregue 
valor agregado durante el resto de las etapas del 
proyecto (implementación y evaluación). 


La participación consistente y con 
un alto nivel de calidad por parte 
de los actores relevantes en el 
proceso de la formulación con 
Metodología de Marco Lógico, es 
una respuesta directa a la 
necesidad de mitigar potenciales 
riesgos futuros en la 
implementación del proyecto, 
riesgos que puedan: ser de clan 


Actividades de aprendizaje 


e Para ser efectivas las acciones de participación han de considerar a todos los actores 
involucrados. Especial atención merece el fortalecer la participación de las mujeres en la 
toma de decisiones en las instituciones rurales y la formulación de proyectos, asegurando 
que sus necesidades y prioridades sean documentas, escuchadas y canalizadas. 


Mejorar la eficiencia del 
proyecto en el sentido que 
las actividades e insumos 
utilizados conducirán a 
alcanzar los outputs y 
outcomes esperados. 


pa 


NENAS | 


Mejorar la transparencia del 
proceso y del proyecto, en su 
implementación y uso 
de recursos. 


Identificar las brechas de 
género al inicio del proyecto. 
Esto implica recopilar 
información cualitativa y 
cuantitativa desagregada por 
sexo respecto de los problemas 
identificados. 


Mejorar la sostenibilidad del 
proyecto a través del aumento 
en la participación de los 
involucrados en el diseño e 
implementación. 


Identificar 
potenciales 
conflictos. 


Mejorar la 
efectividad del 
proyecto. 


I 


Seleccione la respuesta correcta 


e Cual no pertenece a los pasos del análisis de actores 
relevantes son 


. Identificación de involucrados 


a 
b. Formulación y diseño del proyecto 
c. Consulta de actores relevantes 

d 


. Participación de los interesados 


f ye 
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Árbol de problemas 


e Al preparar un proyecto, es necesario identificar el 
problema que se desea intervenir, así como sus causas 
y sus efectos. Un procedimiento para realizar esta tarea 
contempla los siguientes pasos: 


Árbol de problemas 


A partir de una primera "lluvia de ideas” 


Analizar e pure romeo E a De establecer el problema central que afecta a Lluvia de 
' q omo p la comunidad, aplicando criterios de : 
identificar situación a abordar. prioridad y selectividad. Idealmente, con ideas 


la participación de actores claves. 


Anotar las causas del problema central 
detectado. Esto significa buscar qué Anotar las 
elementos están o podrían estar causas 


provocando el problema. 


problema en cuestión, de esta forma se 


Definir los Definir los efectos más importantes del = ` 
efectos analiza y verifica su importancia. 


Revisar la validez e integridad del esquema, 
todas las veces que sea necesario. Esto es, 

asegurarse que las causas representen Revisar la 
causas y los efectos representen efectos, que I 

el problema central este correctamente validez 


definido y que las relaciones (causales) estén 
correctamente expresadas. 


Una vez que tanto el problema central, como 


0 Co nstruir las causas y los efectos están identificados, se 


construye un esquema que permita organizar 
esquema la causalidad de los problemas y efectos 
identificados. 


Árbol de problemas 


Realidad 


BB Problema MA Causas Efectos 


TÍTULO DE LA MATERIA 


Árbol de problemas 


e El árbol de problemas corresponde a una técnica que se emplea para 
identificar una situación negativa (problema central), la cual se intenta 
solucionar mediante la intervención del proyecto utilizando una relación de 
tipo causa-efecto. 


e Se debe formular el problema central de modo que sea lo suficientemente 
concreto para facilitar la búsqueda de soluciones, pero también lo 
suficientemente amplio que permita contar con una gama de alternativas de 
solución, en lugar de una solución única. 


Árbol de problemas 


ARBOL DE PROBLEWIAS 


2 pación Pepe de Epes de Cerca: Tecnico: y JAmarrukuka-rrkm LSE re — uk rc sonal ce 
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TÍTULO DE LA MATERIA 


Árbol de objetivos (soluciones) 


° Una vez que se ha construido el árbol de problemas e identificado 
correctamente el problema central, se debe avanzar a la segunda fase 
donde se indaguen y estudien las diferentes posibles soluciones a dicho 
problema. 

e Esto es llamado análisis de los objetivos, el cual permite describir la 
situación futura a la que se desea llegar una vez se han resuelto los 
problemas. Consiste en convertir los estados negativos del árbol de 
problemas en soluciones, expresadas en forma de estados positivos. 


TÍTULO DE LA MATERIA 


Árbol de objetivos (soluciones) 


Arbol de problemas Arbol de objetivos 


Efectos Fines 


Problema central Resultados esperados 


= llo 
Causas IN Medios 


TÍTULO DE LA MATERIA 


Árbol de objetivos (soluciones) 


e Construido el árbol de objetivos es necesario examinar las relaciones de 
medios y fines que se han establecido para garantizar la validez e integridad 
del esquema de análisis. Si al revelar e Tool de causas y efectos se 
determinan inconsistencias es necesario volver a revisarlo para detectar las 
fallas que se puedan haber producido. 


e Si se estima necesario, y siempre teniendo presente que el método debe ser 
todo lo flexible que sea necesario, se deben modificar las formulaciones que 
no se consideren correctas, se deben agregar nuevos objetivos que se 
consideren relevantes y no estaban al os eliminando aquellos que no 
eran efectivos. 


TÍTULO DE LA MATERIA 


Análisis de alternativas 


° Los 


principales 
pasos por 
considerar a 
la hora de 
realizar un 
análisis de 
alternativas 
son: 


Paso 1: Identificar la mayor 
cantidad de diferentes 
escaleras de medios y fines 
como sea posible dentro del 
árbol construido. 


Paso 2. Eliminar los objetivos 
que no sean deseados por la 
organización de alcanzar o no 
sean claramente alcanzables. 


Paso 3. Eliminar los objetivos 
que estén siendo 
perseguidos a través de otros 
proyectos. 


Paso 4. Seleccionar una de 


las alternativas del árbol 
como estrategia principal del 
proyecto. 


Paso 5. Analizar la 
Factibilidad y viabilidad de 
las alternativas posibles 


TÍTULO DE LA MATERIA 


Dueño y ejecución de 
ates que fomenten un 
amiome para ol desarrollo Uso Ge los tocurnes Gel aula virtual 
delaprendiraje y le foros, ejercicios, teresa, enlaces, 
inmeestigatión, arrencios, documentos, Itinerario de 
aprenceraye). 
Situación deseada 
(Fines) 
Docentes Capecntados en temas Generción de sprendiraye Diseño integrado 4 nivel ds curvo y basado en 
releremos a Tecnologia educetive sigriticateve en dase hemabita por compeolorias 
Los docentes de las carreras de Educación Intercultural Bilingüe de la 
Universidad San Ignacio de Loyola, utilizan e interactúan con herramientas Objetivo Principal 
tecnológicas y el aula virtual, en las sesiones de aprendizaje, 
Participación activa de docentes en los Cursos Docente G 1600140064 y 
de CAPARICA Avena, relacionados con el motiveder con el vio de lar 
Medios uso de TICS aplicadas è la educación, brindados TICS en el desarrollo Ge chaves 


por la Unver vetet 


r 1 
incorporición de Uso de recursos Incorporación de recurvos. Use del aula virtual com 
mpowtivos tecnodogicos, pate le tecnodógicos en bor herramienta complemente 
Aatitud powtive, frente al Ute de las TICS en ln tecrológicos IRGA, | | Pron de veion de de aprendirajo por cada cu 
uso de tas mos, por | seuonesdeciase, (cotularos, tablets y motivación y aprendio. | 
parte de los doceras. herramientas computadora») Minami en ate. 
aprendida durante lar A 


capacitaciones 


/ m Ec TITULO DE LA MATERIA 


Actividad de autoevaluacion 


e 1. ¿Cuál es la definición de árbol de problemas? 
e 2. ¿Cuál es la definición de árbol de objetivos? 
e 3. ¿Cuál es la definición de análisis de alternativas? 


(ures: ¡GRACIAS! cape 


EDUCACIÓN 
EN LÍNEA 


` 
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Diseño y evaluación de proyectos 
educativos 


Metodologia de Marco Lógico (MML) 


TRAS 
CENDE KX 
MOS 


MML: Contextualización del escenario 


Por Gue 


¿Cómo? ¿Qué? 


e Para dar contexto al equipo e Redactar un prólogo para el e Un marco de referencia que 


que formula el proyecto y al proyecto. permite a quien lea el 
evaluador. e Mencionar la coyuntura proyecto empatizar con el 
e Para sentar un precedente actual, la necesidad, el mismo 
que argumenta la problema y la oportunidad 
pertinencia del proyecto. de la cual nace la idea para 
e Para dar enfoque y trazar un el proyecto. 
eje para el proyecto. e Especificar con datos e 


indicadores de la mayor 
manera posible 


Diseño y evaluación de proyectos educativos 


Ciclo de un proyecto 


Marco lógico Nx 
— ] —— > 1. Diseño 


Objetivos l = 
enel y. 


Proyecto 


Sistema de Informes 


Sistema de Evaluación 


Evaluación Ex 


Análisis y aprobación 


Diseño y evaluación de proyectos educativos 


Fracaso de un proyecto 


e Planificación: 
° Objetivos múltiples; 
e Objetivos ambiguos 
° Responsabilidades: 
e Diferentes niveles; 
e Factores externos 
e Evaluación periódica: 
e Proceso negativo 


Análisis de involucrados 


indrferentes 
Es e C t o ‘ B í, . . 
7 P z E 
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Opositores 


Análisis de involucrados 


Identificación de los grupos de actores que se ven 
afectados directa o indirectamente por el proyecto 


Caracterizarlos: 

¿Cuál s intereses? Sientan bases para 

¿Qué los mueve a ello. definir los niveles de 

¿Cuáles son sus expectativas? los objetivos: 

¿Cuáles problemas perciben? e Fin 

¿Qué visión tienen ellos del problema? .. 
° Proposito 


J J > ° Componentes 
Se establecen estrategias de intervención para: 


e Tener apoyo e Actividades 


e Plantear acciones contra su oposición 


Análisis de involucrados 


DAK f 
I ww 


éComo? ¿Qué? 


e Para comprender los e Mapear todos los grupos e Un mapa estratégico de 
intereses de cada parte don intereses o influencia actores que facilita la toma 
con potencial influencia en en el proyecto. de decisiones. 
el desarrollo y éxito del e Definir que les interesa y e Definir y caracterizar a los 
proyecto. que pueden aportar. beneficiarios, ejecutores, 

e Para obtener una visión e Definir un plan de acción y co-ejecutores y personal 
integral de todos los comunicación para cada requerido para el 
grupos afectados por el uno de estos grupos. proyecto. 


proyecto. 


cS co 


Caracteristicas de un problema real: 
e Verificable 
e Medible 


e Cuantificable 


Análisis de problemas 


| 
¿Por qué? ¿Cómo? ¿Qué? 


e Para identificar el problema e Através de la construcción de un e Una representación gráfica y 
central y lo que causa. árbol en donde se relaciona la lógica de la situación que el 
e Para entender los efectos del información que se tiene del proyecto va a impactar. 
problema en cada involucrado. problema. e Un instrumento estratégico para 
e El árbol se construye de manera enfocar las decisiones y 
grupal con el equipo del esfuerzos (actividades y 
proyecto. objetivos) que se atacar desde el 
e La información debe proyecto de manera priorizada 


relacionarse de manera 
jerarquica, estableciendo causa 
y efecto. 


I 


Ejemplo del árbol de problemas 


ARBOL DE PROBLEMAS 


RAMAS 


pes =. (Fines) 


i he = mo dia Objetivo Central o Proposito 
Estado positivo deseado 
(oportunidades que se derivan 
RAICES — = IS RAICES 


de resolver el problema) (Causas) A (Medios) 


Análisis de objetivos 


:Dor quae 


éComo? ¿Qué? 


e Para identificar el e Transformar el escenario e Un listado de posibles 
objetivo central al que el negativo que representa acciones y alternativas 
proyecto apunta. al árbol de problemas en que permitirán definir 

e Para definir el alcance del un escenario positivo una estrategia óptima en 
proyecto e identificar las basado en las el proyecto. 
rotas de acción que oportunidades que se ° El objetivo general y los 
resuelven el problema desprenden de objetivos específicos 


del proyecto. resolverlo. 


I 


Del árbol de problemas al árbol de objetivos 


Ejemplo del árbol de objetivos 


Diseño y ejecuciónde Clases motivadoras, se Desarrollo de 
dasesque fomentan un Reducción del z 
amiente para el desarrollo indice de alent son a eNi i Uso de losrecursos del aula virtual 
del aprendizaje y la deserción US AS Se cumple con los (foros, ejercicios, tareas, enlaces, 
investigación. estudiantil. = resultados especificosy anuncios, documentos, itinerario de 
generales por cada curso. aprendizaje). 


Situación deseada 
(Fines) 


Docentes capacitados en temas Diseño integrado a nivel de 


referentesa Tecnología educativa. 


Generación de aprendizaje 
significativo en clase. 


Los docentes de las carreras de Educación Intercultural Bilingúe de la 
Universidad San Ignacio de Loyola, utilizan e interactúan con herramientas 
tecnológicas y el aula virtual, en las sesiones de aprendizaje. 


Docente orientador y 
motivador con el uso de las 
TICS en el desarrollo de clases. 


Participación activa de docentes en los cursos 
a de capacitación interna, relacionadoscon el 
Medios uso de TICS aplicadas a la educación, brindados 
por la Universidad. 


curso y basado en 


formación por competencias. 


Objetivo Principal 


m 1 
Incorporación de } Uso de recursos Incorporación de recursos Uso del aula virtual com 
dispositivos tecnológicos, para la tecnológicos en los herramienta complementa 
Actitud positiva, frente al Uso de lasTICS en las tecnológicos interacción, | diseños de sesión de de aprendizaje por cada cu 
usodelastics: por MM sesionesdeciase (celulares, tablets y motivación y aprendizaje. 
parte de los docentes. herramientas computadoras) dinamismo en clase. 
aprendidas durante las durante las clases. 
capacitaciones. — 


Análisis de alternativas 


Situación deseada 
Situación actual Árbol de Objetivos 


Árbol de problemas —— —— 


Definir acciones -> Alcanzar Medios 
* Sustitutas 
“Complementarias 


e Y ° 
Alternativas de solución del problema 


Y 


Determinar alternativas 


Y 


Análisis de alternativas 


Aplicar criterios de selección E 


° Impacto social Estrategia 1 3 
* Viabilidad Estrategia 2 3 1 1 
° Sostenibilidad 

Estrategia 3 2 3 1 


° Costo vs Beneficio 


Validación: 


Las alternativas deben permitir llegar a los medios y estos a su vez 
deben permitir Eliminar/mitigar las causas del problema 


Análisis de alternativas 


(Fines) 


TRONCO x eo 
(Objetivo General) Propós1to 


AA 


Columna 
Nivel de objetivos 


Fines 
— Propósito 
PA Productos 
RAICES — ES 
(Medios) sÍ Í Actividades 


RAICES 
(Acciones) 


Estructura Analítica 
del Proyecto: 
Diagramar el árbol de 
objetivos ajustado a la 
alternativa 
seleccionada sobre la 
base de los 4 niveles 


Análisis de objetivos 


DAK A law 


éComo? ¿Qué? 


e Para traducir la e Con sesiones de ideación e Estrategias del proyecto. 
información del árbol de donde se maximice el e Identificación de 
objetivos en un plan de número de opciones. productos o componentes 
acción. e Con ejercicios de votación (los resultados que deben 

e Para definir la estrategia para priorizar las mejores desarrollar el proyecto) y 
que permita alcanzar el ideas. las actividades. 
objetivo general del e Agrupando por categorías 
proyecto. para fortalecer ideas más 


fuertes. 


MATRIZ DEL MARCO LOGICO 


Matriz de Marco Lógico 


Resumen narrativo l Medios de 
| 555 S > Indicadores O Supuestos 
| del proyecto / verificación 


Finalidad 
Beneficios Globales con que 
contribuye el proyecto 


Propósito 
Describe el resultado directo del 
proyecto 


Componentes 
Describen lo bienes y/o servicios 
que deben producirse 


Actividades 
Describen cómo se producirán los 
componentes 


Indicadores de impacto 
Medidas para verificar el loro de la 
Finalidad 


Indicadores de Efecto (eficiencia) 
Medidas para verificar el logro del 
propósito 


Indicadores de Eficiencia 
Medidas para verificar el logro de 
los componentes 


Resumen del presupuesto del 
proyecto por actividad 


Fuentes de datos para verificar los 
indicadores de la finalidad 


Fuentes de datos para verificar el 
cumplimiento de los indicadores 
del propósito 


Fuentes de datos para verificar el 
cumplimiento de los indicadores 
de los componentes 


Fuentes de datos sobre la 
ejecución del presupuesto del 
proyecto 


Factores externos para la 
sostenibilidad de un proyecto 


Factores externos necesarios para 
el largo plazo 


Factores externos para producir el 
propósito 


Factores externos para producir 
los componentes 


Matriz de Marco Lógico 


E > PEOR _— "s 
3 JAF A a? 
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éComo? ¿Qué? 


e Para definir e Asignar costos y tiempo a e Un análisis de riesgos e 
responsabilidades, cada una de las actividades. incertidumbres. 
indicadores y presupuestos e Definir indicadores que e Presupuesto, cronograma e 
de implementación del permitan medir el impacto y indicadores de actividades. 
proyecto. resultados de los productos 


para alcanzar los objetivos 
del proyecto. 

e Definir supuestos bajo los 
que se evaluará el proyecto. 


Resumen Narrativo del Proyecto 


e Conceptos importantes 
° Separar la causa y efecto 
° Usar frases sencillas y breves 
° Eliminar múltiples objetivos 


° ¿Cuál es la finalidad del proyecto? — FIN | E | 


° ¿Por qué se lleva a cabo el proyecto? nm? PROPÓSITO 
e ¿Qué debe producir el proyecto? > COMPONENTE 
e ¿Cómo se producirán los componentes? ¡nm ACTIVIDADES 


Resumen Narrativo del Proyecto 
Jerarquía de objetivos 


El propósito debe contribuir 
significativamente al logro del FIN 


Los componentes/resultados son ¿Para qué? 


necesarios para lograr el propósito 


Componente Componente 


Resumen Narrativo del Proyecto 
Jerarquía de objetivos 


e FIN: ¿Por qué, en última instancia, se lleva a cabo el proyecto? 
e Indica cómo el proyecto o el programa contribuirá a solucionar un problema de desarrollo a 
nivel sectorial, regional o nacional 
° PROPOSITO: ¿Por qué se lleva a cabo el proyecto? 
° Describe el impacto directo o resultado directo obtenido de la utilización de los Componentes 


e COMPONENTES: ¿Qué debe producir el proyecto? 


e Son los bienes y servicios que debe producir el ejecutor, de acuerdo con el contrato del 
proyecto 


° ACTIVIDADES:¿Cómo se producirán los Componentes? 


e Actividades principales que implican uso de recursos, que el ejecutor debe llevar a cabo para 
producir cada Componente. Se colocan, para cada Componente, en orden cronológico. 


Indicadores 


e Proporcionan la base para el monitoreo y la evaluación 
e Muestran cómo puede ser medido el desempeño de un proyecto 


° Especifican de manera precisa cada objetivo (Componente, Propósito, 
Fin) 


e Establecen metas para medir en qué medida se ha cumplido un 
objetivo 


B. INDICADORES 


Indicadores: conceptos importantes 


° Si se puede medir, se lo puede J 


administrar. | EIN eae eee 
FIN Indicadores 


e Los indicadores deben expresarse | 


en términos de cantidad, calidad | Le | 
y tiempo o plazo. PROPOSITO Indicadores 


e Los indicadores a nivel de COMPONENTE 
propósito miden el impacto al 


terminar la ejecución del 
oo 0 ACTIVIDADES Indicadores 


Indicadores 


f yr. 


NY 


Atributos de un buen indicador 


Todo indicador debe ser: 

e Asequibles (alcanzar o conseguir) 

e Verificable objetivamente 

° Medible (Cuantificables) 

° Oportuno (reportados en el momento indicado) 
° Relevante (datos precisos e importantes) 

° Específico e Independiente (concretos) 


Atributos de un buen indicador 


Verificable objetivamente: 
e Identifican la evidencia que demostrará los logros obtenidos a cada nivel 


° Los logros pueden ser verificados en forma objetiva a fin de que el ejecutor, supervisor y 
evaluador puedan llegar a un acuerdo sobre lo que la evidencia implica. 


° Medir lo que es importante. 
Establecer metas específicas 


¿Para quién? 
¿Cuánto? 

¿De qué tipo? 
¿Cuándo? 
¿Dónde? 


-Grupo meta 
-Cantidad 
-Calidad 
-Tiempo 
-Lugar/área 


Pasos para la formulación de indicadores 


° ler PASO. Identificar el indicador 

e Las escuelas mejorar la calidad educativa 
e 2do PASO. Cantidad 

e 4 escuelas rurales mejoran el rendimiento de los estudiantes en un 40% 
° 3er PASO. Calidad 


e 4 escuelas rurales aumentan el rendimiento de los estudiantes en un 40% 
manteniendo este rendimiento escolar. 


e 4to PASO. Tiempo 


e 4 escuelas rurales aumentan el rendimiento de los estudiantes en un 40% 
manteniendo este rendimiento durante los siguientes 2 años 


Indicadores 


e Con frecuencia es necesario formular más de un indicador para especificar 
diferentes aspectos de un objetivo 


° Debe proporcionarse metas para diferentes momentos (Anuales) para permitir el 
monitoreo periódico de los Componentes 


e Si hay problemas de información, debe buscarse otros indicadores o agregar una 
actividad nueva para obtener la información (Un muestreo base) 


e Si la verificación de un indicador es muy compleja o de costo muy alto, o si los 
cambios tendrán lugar después de transcurrido mucho tiempo, debe buscarse 
indicadores sustitutos. 


I 


Tipos de indicadores y finalidad 


e Impacto: Medir el logro del fin del proyecto 
e Efecto (Eficacia): Medir el logro del propósito ( Objetivo central) 


° Eficiencia: Medir el cumplimiento de los componentes (productos/ 
servicios) 


Medios de verificación 


e Métodos y fuentes de recolección 
de información del cumplimento de 
los indicadores x Fin 10) 


e Permitirán monitorear, sustentar y 


evaluar el cumplimiento de los Propósito 11 Medios de 
indicadores y las metas propuestas. Verificación 
° Se debe tener en cuenta: Componente 12 Medios de 


O Verificación 
recolección 


Actividades Presupuesto Medios de 
Verificación 


Responsable 
de la 
información 


Frecuencia de 


recolección 


¿Cómo se obtiene la evidencia? 


e ¿Cómo se obtiene esta evidencia? 
e Fuentes normales de información 
e Recolección de datos o información especial 


e ¿Quién financiará estas actividades? 
e ¿Quién ejecutará estas actividades? 


e ¿Qué cantidad razonable de información se requiere? 


Supuestos 


° Representan factores externos (riesgos) que están fuera de control de los 
responsables del proyecto. 


e Son acontecimientos, condiciones o decisiones que tienen que ocurrir para el éxto 
de un proyecto 


e Factores que deben considerarse como riesgos para el proyecto: 


Ti 


` all an 


. e 
Tata FA f" Fada a! 
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aro Político Social Ambiental 


Supuestos y Factores externos 


e Aclarar o refinar aquellos 


supuestos y riesgos que son | Fin In 
demasiado generales Ka 


e Analizar la importancia y | Propósito 11 MV 


probabilidad de los mismos 

e Hacer seguimiento y administrar Componente 12 MV 
los supuestos durante la 
ejecución Actividades Presupuesto MV 


Supuestos 


Supuestos 


Supuestos 


sSUDUeESTOS 
PAK UL DY UN 


A tae pene Breed] MEA [Ca | 
cTQaQnTan NAN | 
USTENTADI | ¡aad) 


Supuestos 


¿Qué decisiones debo tomar con los riesgos 


identificados? 
° Su importancia es proveer 


una visión clara de las 
dificultades y sus posibles 
medios de neutralización. 


Redisenar el proyecto 


I 


Condiciones necesarias y suficientes 


Supuestos 
— (Sustentabilidad) 
Propósito Supuestos 


Componente 


Supuestos 


Supuestos — Supuestos 


D. SUPUESTOS: ¿CÓMO A ANALIZAR? 


¿Cómo analizar los supuestos? 


° ¿ES EXTERNO AL PROYECTO? 
SI NO (NO INCLUIR) 


° ¿ES IMPORTANTE? 
SI NO (NO INCLUIR) 


e ¿CUÁL ES LA PROBABILIDAD DE QUE OCURRA? 
NO ES PROBABLE PROBABLE MUY PROBABLE (NO INCLUIR) 
(=SUPUESTO) 


e ¿PUEDE SER REDISEÑADO EL PROYECTO? 
SI NO (SUPUESTOS FATAL- PARAR PROYECTO) 
(REDISEÑAR EL PROYECTO) 


D. SUPUESTOS: ¿CÓMO A ANALIZAR? 


¿Cómo analizar los supuestos? 


¿Es externo al proyecto? 

Si 

¿Es importante? 

Si 

¿Cuál es la probabilidad de que ocurra? 


No es probable Probable 


¿Puede ser rediseñado el proyecto? 
Si (rediseño de proyecto) 


No (No incluir) 


No (No incluir) 


Muy probable (No incluir) 


No (Supuestos falta —parar el proyecto) 


Importancia de aclarar los supuestos 


Los supuestos pueden derivarse del análisis de Involucrados, el árbol de objetivos o 
cualquier otra fuente de información sobre las condiciones del entorno del proyecto 


Los supuestos deben ser formulados como condiciones positivas (como objetivo) 


Los supuestos: 
° No deben ser parte de la estrategia del proyecto 
° Son importantes para el éxito del proyecto 


Hacer explícitos los supuestos ayuda a mejorar la comunicación entre la gerencia del 
proyecto y la Superioridad 


Los supuestos identifican claramente lo que está fuera de control de la agencia ejecutora 


Causas más frecuentes de un mal planteo del marco lógico 


El proyecto tiene 2 o más propósitos 


El propósito no describe el efecto directo de la utilización de los componentes 
e Losindicadores no están cuantificados ni enmarcados en el tiempo 


e Los indicadores no son independientes de: objetivo correspondiente 


Los supuestos no son específicos (muy generales) 
° Los supuestos no son externos al ejecutor 


Los supuestos no están en el nivel apropiado 


Evaluación Intermedia 


e Es el seguimiento del estado actual de las metas intermedias del 
proyecto. 


e Identificar fallas en el diseño y/o en el plan de ejecución del proyecto. 


e Su importancia es permitir establecer medidas correctivas para 
garantizar el cumplimiento del propósito del proyecto. 


Evaluación Intermedia 


Actividades de evaluación Propósito de la evaluación 


e Garantizan el logro del propósito y fin 


| e Verificar el cumplimiento de los supuestos (el fracaso de los proyectos proviene de la no 
ocurrencia de supuestos de actividades y componentes 


e Ver la necesidad de incluir nuevos supuestos 


CIRAN m 
SUbDI € iS IS 
IUNYVULILYS 


robablilida e logro de e Evaluar las metas a nivel de actividades y componentes y el análisis de los supuestos 
P bilidad de logro d luar | ivel de actividad | análisis de | 
objetivos del proyecto e Determinar la probabilidad de logro de los objetivos del proyecto a nivel del propósito y fin 


e Establecer el plan de acción frente a los principales problemas que afectan la ejecución y 


Problemas y Acciones operación del proyecto y logro de los objetivos 


Articulación del MML con las fases ciclo de vida de los proyectos 
a $ 


Contextualización del 
escenario 


e Análisis de involucrados 
e Análisis de problemas 

e Análisis de objetivos 

e Análisis de Alternativas 


e Matriz de marco lógico 


Formulación 


e 


Seguimiento 


ome e Programación de 
y evaluación 


actividades 


e Evaluación intermedia e Elaboración de presupuesto 


Matriz de Marco Lógico Ejemplo 


OBJETIVO INDICADORES MEDIO DE VERIFICACION SUPUESTOS 


FIN 

1. Reducidas lesiones y 
muertes 

2. Reducidas las pérdidas 

3. Recuperada imagen 


PROPÓSITO 
Accidentalidad reducida 


COMPONENTES 
1. Conductores idóneos 
2. Vehículos en buen estado 


ACTIVIDADES 

1.1 Mejorar selección 

1.2 Capacitar a conductores 
2.1 Renovar vehículos 

2.1 Mejorar mantenimiento 


Tasa de lesiones baja en 40%.. 
Tasa de mortalidad baja en 
50%... 


Pérdidas se reducen en 60%... 


Grado de satisfacción de 
usuarios 
supera el 80% en el primer año... 


Accidentalidad reducida 
sobre línea de base: 

. 40% en el año 1 

. 70% en el año 2 

d 90% en año tres 


Capacitado el 100% en año 1 

En programas de calidad: 

70% año 1, 100% en año 2 
Vehiculos en buen estado: 

70% año 1,90% año 2, 100% año 3 


1.1Bs.F 50 
1.2 Bs. F 450 
2.1 Bs F200 

2.2 Bs. F300 
Total Bs .F1000 


Estadisticas Oficiales 
Estadisticas Oficiales 
Encuesta... 


financiero del 


Registro 
proyecto 


Se establece la cultura del 
buen 

conducir y del respeto a las 
normas 

de tránsito 

Las autoridades se 
preocupan por 

el buen funcionamiento del 
tránsito 


De Propósito a Fin 3: 
El tránsito fluye 
eficientemente 


Vías urbanas en buen estado 
Pasajeros, transeúntes y 
conductores de la ciudad 
se comportan con 
prudencia 


De21a2: 

Se mantienen aranceles 
favorables 

para importación de 
vehiculos 


(ures: ¡GRACIAS! cape 
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Resultados de aprendizaje 


e Aprender a gestionar proyectos educativos 
e Describir las principales funciones de la interfaz de Microsoft Project. 


e Analizar las metodologías ágiles de Agile Project Management junto 
conla tecnología de organización que aporta el programa. 
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Resultados de aprendizaje 
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Gestión de proyectos o Project management 


° Es el conjunto de metodologías para planificar y dirigir las tareas y recursos de un 
proyecto. 


e Un proyecto comprende una cantidad de operaciones diseñadas para lograr un 
objetivo específico, medible, alcanzable, relevante y temporal (SMART, por sus siglas en 
inglés). Los objetivos de la gestión de proyectos son: 


e Gestionar el inicio y la evolución de un proyecto; 


Controlar y responder ante problemas que surjan durante un proyecto; 


Facilitar la finalización y aprobación del proyecto. 
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Gestion de proyectos o Project management 


° Es una serie de perspectivas teóricas y prácticas que se aplican 
para administrar, diseñar y orientar los esfuerzos dentro de un 
proyecto de cualquier indole de principio a fin. 


° Este método sirve para proyectos pequeños o muy complejos. 


e Por otro lado, pueden ser implementados en los procesos de 
cualquier departamento. 
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Gestión de proyectos o Project Management 


e Este enfoque es metódico y orienta en la estimación, administración y 
cumplimiento de los objetivos específicos, los mismos que son 
medibles, alcanzables y realistas, para la realización de tareas dentro de 
la institución 
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Gestión de proyectos o Project Management 


e Los proyectos son independientes de la actividad diaria de la 
institución. 


e Los objetivos de estos proyectos pueden expresarse 
en: resultados (como la creación de una nueva 
jornada); consecuencias (como afectaría la reubicación de docentes a 
otra jornada); beneficios (reducción de costos de las instalaciones) 
u objetivos estratégicos (como duplicar el rendimiento institucional en 
tres años). 
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Gestión de proyectos o Project Management 


e Ala hora de desarrollar un proyecto hay 3 variables a tener en cuenta: 
° el tiempo 
e el costo 
e el alcance. 


e Estas tres variables sirven para asegurar la calidad del proyecto. 


e Estas variables juntas forman el Triángulo de calidad (también conocido 
como el triángulo de hierro) 
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Gestión de proyectos o Project Management 


Triángulo 
de Calidad 


Alcance 
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Gestión de proyectos o Project Management 


e La variable alcance especifica todos los requisitos, pasos y tareas del 
desarrollo del proyecto. 


e La variable tiempo es una variable peculiar no controlable, por lo que es un 
desafío utilizar el tiempo de manera eficiente, manteniendo el proyecto 
dentro del cronograma y alcanzando los objetivos deseados. 


e La variable costo se centra en presupuesto establecido al inicio del proyecto. 


Las tres variables están interconectadas y dependen mucho la una de la otra. 
Cuanto más grande sea el alcance del proyecto, más tiempo necesitará y 
mayor costo tendrá. 
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Objetivos de la gestión de proyectos 


e Gestionar el arranque y evolución de los proyectos. 


e Administrar y resolver problemas que puedan suscitarse durante el 
proceso 


e Facilitar las tareas de finalización y aprobación del proyecto 
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Etapas de la gestion de proyectos 


Primera etapa: Estudio de factibilidad 


° Tiene como objetivo determinar si la institución obtendría beneficios 
económicos y/o estratégicos con la realización del mismo. 


e Se realizará un estudio de viabilidad, que debe incluir: 


e Através de un software de gestión se crea un registro del proyecto, se realiza 
un análisis del alcance, metodologías y departamentos involucrados, para así 
determinar los riesgos potenciales y aplicar el estudio de factibilidad sobre 
los tiempos deseados para conocer el costo total y la calidad. 


e Silos números son positivos, entonces se pasa a la segunda etapa. 
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Etapas de la gestion de proyectos 


Primera etapa: Estudio de factibilidad — viabilidad. 


e Para investigar las posibilidades del proyecto, hay que tener en cuenta 
factores como el tiempo, los recursos y el coste. El estudio de viabilidad del 
proyecto debe incluir: 

e Creación del registro de seguimiento del proyecto en un software empresarial; 


° Análisis previo del alcance del proyecto (se plantea qué alcance debe tener el proyecto, 
-M ee se va a llevar a cabo, qué departamentos deben estar involucrados, 
etc.); 

Análisis de los riesgos de ejecución del proyecto; 

Análisis del beneficio y el costo previsto, la viabilidad de los plazos pactados y la calidad 
que se pretende. 
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Etapas de la gestión de proyectos 


Segunda etapa: Planificación del trabajo 


° En esta fase se detallan todas las tareas previstas y los recursos necesarios para la 
finalización del proyecto. 


° Si no se detalla con claridad esta etapa, se pueden producir resultados negativos 
para la organización. 


° Para evitar problemas, es necesario: 
° revisar el análisis del alcance del proyecto; 
° realizar estimaciones de esfuerzo, coste y recursos; 
° definir un plan de proyecto; 


Si el proyecto continúa, se redactará un documento sobre los términos del acuerdo. 
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Etapas de la gestión de proyectos 


Tercera etapa: Ejecución 
e Es la fase más importante. 


e Aquí se materializa todas las ideas, planeaciones y diseños, utilizando las 
técnicas, recursos y procesos previstos anteriormente. 


e Las acciones que se realizan durante esta etapa son las de: 
e Establecer el entorno de trabajo (grupos y flujos de trabajo); 
e Asignar las tareas planificadas a los recursos disponibles; 
e Ejecutar las tareas planificadas; 
e Gestionar las peticiones de cambio. 
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Etapas de la gestion de proyectos 


Cuarta etapa: Seguimiento 


e Durante esta fase, se debe comprobar que todas las partes involucradas 
estén cumpliendo con: 
° Seguimiento de tareas e hitos planificados; 
° Gestión de entregables (incluido control de la calidad); 


° Gestión de incidencias que han surgido y que pueden surgir durante el proceso (como 
por ejemplo, que un flujo de trabajo no esté bien relacionado o conectado); 


° Generación de informes de seguimiento (informes para los directores o jefes de 
proyecto informando sobre si el proyecto va según lo planificado). 


* Al verificar, se realizan seguimientos en las áreas involucradas con control de 
calidad y con registro de incidencias, luego se aed informes con los 
indicadores predeterminados para ser mostrados a los superiores. 
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Etapas de la gestión de proyectos 


Quinta etapa: Cierre 


e Al finalizar el proyecto se debe evaluar y verificar que las expectativas hayan 
sido cumplidas y que todo esté como se estableció durante la planificación. 


e Es necesario aplicar un análisis de fallos del proyecto para documentar los 
inconvenientes y ayudar que a futuro se puedan tomar decisiones más 
acertadas. 


° Durante esta etapa, se realiza un checklist y se ejecuta el cierre formal en 
todas las áreas, se hace una copia de seguridad de los datos y se ejecuta un 
análisis de los resultados para contrastarlos con las estimaciones iniciales. 
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Etapas de la gestión de proyectos 


Quinta etapa: Cierre 


e Las tareas de esta etapa son: 


e Cierre formal del proyecto por parte de todos los involucrados 
(stakeholders); 


e Realización del backup del proyecto; 
e Análisis de los resultados con respecto a las estimaciones iniciales; 
e Actualización de la base de conocimiento con todo lo aprendido. 
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Etapas de la gestión de proyectos 


Quinta etapa: Cierre 


e Al finalizar el proyecto se debe evaluar y verificar que las expectativas hayan 
sido cumplidas y que todo esté como se estableció durante la planificación. 


e Es necesario aplicar un análisis de fallos del proyecto para documentar los 
inconvenientes y ayudar que a futuro se puedan tomar decisiones más 
acertadas. 


° Durante esta etapa, se realiza un checklist y se ejecuta el cierre formal en 
todas las áreas, se hace una copia de seguridad de los datos y se ejecuta un 
análisis de los resultados para contrastarlos con las estimaciones iniciales. 
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Etapas de la gestión de proyectos 


¿Qué es un análisis de fallos del proyecto? 


Busca identificar la causa principal de un funcionamiento defectuoso en un 
sistema, basado en observaciones externas. 


Sus pasos son: 
1. Identificar la causa raíz del problema. 
2.Generar las acciones de mitigación para reducir costos por falla de calidad. 
3.Aumentar la disponibilidad de los equipos. 
4.Disminuir los tiempos de corrección. 
5.Evaluar y simular daños del servicio. 
6.Caracterizar el daño o problema. 
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Metodologías de la gestión de proyectos 


Dentro de todas las diferentes metodologías que existen para llevar 
a cabo un proyecto, se pueden establecer seis categorías diferentes. 


Estas categorías son: 
e la metodología secuencial tradicional, 
° PMI/PMBOK; 
e Agile; 
e de gestión de cambio; 
e basada en el proceso; 
° y, otras metodologías. 
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Metodologías de la gestión de proyectos 


La metodología secuencial tradicional 


° e basa en etapas secuenciales en las que se tiene que terminar una fase antes de pasar a 
a siguiente. 


° ree $F ee a documentos que permiten comprobar el correcto desarrollo y finalización 
e cada fase. 


° Este tipo de desarrollo tiene la ventaja de que permite un control de cada fase por parte de 
todos los responsables y sus superiores. Sin embargo, esto provoca que los proyectos sean 
muy “estáticos”, es decir que, si se necesita cambiar cualquier cosa dentro del proyecto, 
haya que volver al inicio, y comenzar otra vez casi desde cero. 


° Las metodologías más conocidas dentro de esta mera res son las de Waterfall, Critical Path 


Method (CPM) y Critical Chain Project Management (CCPM). 
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Metodologías de la gestión de proyectos 


PMI/PMBOK 


e Esta categoría está compuesta por la metodología establecida por el 
Project Management Institute. 


e Ésta sigue las cinco fases de la gestión de proyectos descritas en la 
Guide to the Project Management Body of Knowledge (PMBOK), en 
español Guía del cuerpo de conocimiento de la gestión de proyectos. 


e Fases: Inicio, planificación, ejecución, supervisión, cierre. 
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Metodologías de la gestión de proyectos 


Agile 


Está compuesta por la metodología del mismo nombre, y de ella surgieron otras 
metodologías: Scrum, Kanban, Extreme Programming (XP) y Adaptive Project 
Framework (APF). 


En el Manifesto Agile se valoran algunos elementos por encima de otros: 
e Los trabajadores y las interacciones sobre procesos y herramientas; 


e Un software funcional sobre una documentación general; 
e Una colaboración con el cliente sobre la negociación de un contrato; 
e La capacidad de responder sobre la habilidad para seguir un plan establecido. 
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Metodologías de la gestión de proyectos 


Agile 

e Las seis etapas del ciclo de vida del desarrollo de la metodología ágil 
e Determinación del alcance y la prioridad de los proyectos. 

e Diagrama de requisitos para el sprint inicial. 

e Construcción/iteración. 

e Puesta en producción de la iteración. 

e Producción y soporte continuo para la versión del software. 

e Retiro. 
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Metodologías de la gestión de proyectos 


Manifiesto por el desarrollo ágil de software 


Individuos e interacciones Software funcionando 


sobre procesos y herramientas sobre documentación extensiva 


ps eS o> 


Colaboración con el cliente Respuesta ante el cambio 
sobre negociación contractual sobre seguir un plan 


UR > A e) > => 


Fuente: Agile manifesto. 2001 tic.PORTAL 
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Metodologías de la gestión de proyectos 


AGILE SOFTWARE 
DEVELOPMENT 
LIFE CYCLE 
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Metodologias de la gestion de proyectos 


Gestion de cambio (change management) 


e Existen las metodologías que se ocupan de la gestión de proyectos, pero 
enfocándose en la gestión del cambio, especialmente en la planificación de 
los riesgos y tomando el control del cambio cuando se produce. 


e Los métodos más conocidos son: Event Chain Methodology, cuya idea 
subyacente es que existen riesgos potenciales que a menudo se encuentran 
fuera del alcance del proyecto; y, Extreme Project Management, siendo lo 
contrario de Waterfall, ya que te ofrece una forma de gestionar el cambio 
masivo y avanzar hacia la finalización del proyecto. 
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Metodologias de la gestion de proyectos 


Metodologias basadas en el proceso 


En esta categoria, las metodologias estan dirigidas hacia las areas de gestion de procesos 
de negocio (Business Process Management, BPM), donde cada método enfoca el trabajo 
como un conjunto de procesos. 

e Las metodologías dentro de esta categoría son: 

e Lean manufacturing (centrado en la simplificación y reducción de los desperdicios); 

° Six Sigma (también conocida como Seis Sigma, se basa en estadísticas para mejorar la __ 
calidad de un proceso al medir los defectos o errores presentes y reducirlo hasta que esté 
lo más cerca posible a cero); 

Lean Six Sigma (combina el enfoque minimalista de Lean -“sin desperdicio” y la mejora de 

la calidad de Six Sigma “cero defectos”); 

° Process-Based Project Management o gestión de proyectos basado en procesos (alinea 
todos los objetivos del proyecto con la misión y los valores corporativos de una empresa). 
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Metodologias de la gestion de proyectos 


Otras metodologias 


En esta categoria se encuentran aquellas metodologias que, aun siendo 
importantes, no encajan dentro de las categorias anteriores. Estas 
metodologias son: PRINCE2 y PRISM. La primera, PRINCE2 (Projects In 
Controlled Environments o Proyectos en Ambientes Controlados, en español) 
administra proyectos y se caracteriza por un enfoque de planificación basado 
en productos. La metodología PRISM (Projects Integrating Sustainable 
Methods o Proyectos Integración de métodos sostenibles en español) tiene 
como objetivo gestionar el cambio a la vez que incorpora sostenibilidad 
ambiental en sus procesos. 


DISEÑO Y EVALUACIÓN DE PROYECTOS EDUCATIVOS 


Ventajas de la gestión de proyectos 


e Si combinamos la gestión de proyectos junto con la transformación digital dentro de una empresa, 
los beneficios que pueden traer son innumerables. Sin embargo, podemos nombrar los más 
relevantes: 

° optimiza los flujos de trabajo; 

° mejora el trabajo en equipo; 

° aumenta la comunicación constante con las diferentes áreas productivas; 
° incrementa el flujo de datos relevantes entre departamentos; 

° prevé cuellos de botellas y rutas críticas; 

° abarata costos y crea presupuestos adicionales según los escenarios; 
° posibilita el seguimiento y gestión con respecto a la proyección; 

° reúne datos para proyectos futuros; 

° administra los recursos; 

° optimiza la resolución de inconvenientes; 

° entrega datos en tiempo real. 
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Herramientas para la gestion de proyectos 


° La gestión de proyectos, con el objetivo de minimizar o evitar errores y 
aumentar la productividad, se apoya en herramientas. Hoy por hoy 
existen 3 grandes técnicas, que son: Diagrama de Gantt, Pert/CPM y 
Cadena Crítica. 


f UTEN DISENO Y EVALUACION DE PROYECTOS EDUCATIVOS 


Herramientas para la gestion de proyectos 


Diagrama de Gantt 


° Se compone de dos ejes de coordenadas donde se contienen todas las 
tareas y actividades dentro del proyecto. Asimismo, se delimitan las 
diferentes fases para identificar los eventos importantes para todos los 
involucrados. 


e Si se actualiza periódicamente, es sencillo visualizar la realidad del 
proyecto. Sin embargo, no es recomendable para proyectos muy 
flexibles al cambio, ni para los planteamientos muy sencillos. 
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Herramientas para la gestión de proyectos 


Diagrama de Gantt Diagrama de Gantt 


LD ren [man aon unr aon) [co | se 001 ov | 
[ele XX Dias 
X Dias 


| Activia 
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Herramientas para la gestion de proyectos 


Pert/CRM 


° Sirve para identificar las actividades dentro del proyecto, sus 
dependencias y el tiempo necesario de cada una, con el objetivo de 
aplicar una ecuacion de probabilidad que determine el tiempo total de 
ejecución. 


e Esta herramienta resulta muy útil cuando se ejecutan proyectos 
complejos, con tareas simultáneas y en secuencia. 
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Herramientas para la gestión de proyectos 


DIAGRAMA DE PERT 


1 Inicio 0 semanas 
2 Actividad1 11semanas 
3 Actividad 2 11 semanas 
Actividad 5 11 semanas 
5 Actividad 4 11 semanas 
Actividad 5 11 semanas 
7 Actividad 4 semanas 
8 Actividad? 4 semanas 
9 Actividad 8 4 semanas 
10 Actividad 9 4 semanas 
11 Actividad 10 4 semanas 
12 Actividad 11 4 semanas 
13 Actividad 12 4 semanas 
4 Actividad 13 4 semanas 
15 Fimal 52 semanas 
x amide x Amid | Actividad 20 E | 
SEE de DD 
semanas semonos semonos semanas 
x Amid © Actividad? © Acidos x Amida x Amividod5s 
su > Fu ad EH od © od © ud > 
semanas semanas semanas semanas semanas 
O Amida © Amida © Avida (Actividad as | 
H-P ə s D ké D 
semanas semanas semanas semanas 
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Herramientas para la gestion de proyectos 


Cadena critica 


° Es ideal cuando se enfrentan proyectos muy complejos, ya que permite 
simplificar las etapas de seguimiento y control. 


e Gracias a ella, se pueden detectar actividades cruciales para el proyecto 
y pasan a ser actividades criticas. 


° Permite reducir los plazos estimados de las mismas y se utiliza ese 
tiempo en áreas estratégicas. Esto permite controlar el desarrollo de las 
tareas y, de esta forma, se monitorea la velocidad y se toman 


I 
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Herramientas para la gestión de proyectos 


È FINALIZACIÓN 
: ESTIMADA DEL 
: PROYECTO CON 
: PROTECCIONES 
= Tiempo estimado de la actividad WIIZIOIXIIƏI Tiempo de protección agregado : 
[ |] Tiempo de protección agregado 


? FINALIZACIÓN 
? ESTIMADA DEL 
? PROYECTO CO 


Í PROTECCIONES 
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Resultados de aprendizaje 


e Reconocer las características principales de la evaluación financiera 


e Determinar los procesos de evaluación financiera de proyectos 
educativos 


Evaluación financiera 


La evaluación financiera de un proyecto social implica analizar varios parámetros clave para determinar su 
viabilidad y rentabilidad. Aquí te dejo una descripción de algunos de los parámetros más importantes: 


— 


[e] 


COSTOS INICIALES: INCLUYE TODOS LOS GASTOS COSTOS OPERATIVOS: GASTOS RECURRENTES INGRESOS PROYECTADOS: BENEFICIOS 
NECESARIOS PARA PONER EN MARCHA EL NECESARIOS PARA MANTENER EL PROYECTO EN ECONÓMICOS ESPERADOS DEL PROYECTO, QUE 
PROYECTO, COMO INFRAESTRUCTURA, EQUIPOS, FUNCIONAMIENTO, COMO SALARIOS, PUEDEN INCLUIR INGRESOS POR VENTAS, 


PERSONAL, ETC. MANTENIMIENTO, SUMINISTROS, ETC. DONACIONES, SUBVENCIONES, ETC. 


Evaluación financiera 


Valor Actual Neto (VAN): Mide la rentabilidad del proyecto al comparar el valor presente de los ingresos futuros con los 
costos iniciales. 


Tasa Interna de Retorno (TIR): La tasa de descuento que hace que el VAN del proyecto sea cero, indicando la 
rentabilidad esperada. 


Periodo de Recuperación: El tiempo necesario para que los ingresos generados por el proyecto cubran los costos 
iniciales. 


Impacto Social: Evaluación de los beneficios sociales, como la mejora en la calidad de vida, generación de empleo, 
acceso a servicios básicos, etc. 


Sostenibilidad: Capacidad del proyecto para mantenerse a largo plazo sin depender de financiamiento externo continuo. 


Qué es un impacto 


Un proyecto puede generar diversos impactos en la sociedad, y estos pueden clasificarse en tres 
categorías principales: 


° Impacto Económico: Se refiere a los efectos que el proyecto tiene en la economía local, regional o 
nacional. Por ejemplo, un proyecto puede fomentar empleos, aumentar la inversión o mejorar la 
imagen de una institución educativa. 


° Impacto Social: Este tipo de impacto se relaciona con los cambios en la calidad de vida de las 
personas y en la sociedad en su conjunto. Algunos ejemplos de impacto social incluyen la reducción 
de la pobreza, la promoción de la igualdad de género, el empoderamiento de comunidades y la 
mejora de la salud y la educación. 


° Impacto Ambiental: Se refiere a cómo el proyecto afecta al medio ambiente. Puede incluir aspectos 
como la conservación de recursos naturales, la reducción de la contaminación o la protección de la 
biodiversidad. 


Clasificación 


° No existe una clasificación única y universal para medir el impacto social, pero aqui se presentan 
algunas dimensiones comunes: 


e Impacto Económico: Evalúa los efectos financieros y económicos de una acción en la sociedad. 
° Impacto Social: Considera los cambios en la calidad de vida, bienestar y relaciones sociales. 

° Impacto Ambiental: Analiza los efectos en el medio ambiente y los recursos naturales. 

° Impacto Cultural: Examina las implicaciones culturales y patrimoniales. 

° Impacto Político: Se refiere a los cambios en las políticas y regulaciones. 

° Impacto en la Comunidad: Considera cómo afecta a grupos específicos o comunidades. 


Cómo se evalúa un impacto 


La evaluación de impacto de un proyecto es esencial para 
comprender su efectividad y los resultados que genera. 
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¿Qué se desea medir? Puede ser el impacto del proyecto, la 


A ES i n d i S pe nsa b | e d efi n i ro bj etivos eficiencia, el retorno de la inversión u otros aspectos relevantes. 
(O d e eva | u ación š ¿Cómo se va a obtener los datos? 


¿Qué tipo de evaluación se realizará? 


Cómo se evalúa un impacto 


a Recolectar información relevante sobre el proyecto. 
HH Recopi la r datos: Utilizar herramientas como Gantt para rastrear el progreso, los costos y el 


uso de recursos. 


Evaluar si el proyecto cumple con los objetivos previstos dentro de los 


A A plazos y presupuestos establecidos. 
Í ( ) ) Ana | izar resu Ita dos: Examinar datos historicos y mejores practicas para aprender y aplicar 


lecciones en futuros proyectos. 


Cómo se evalúa un impacto 


° Criterios de evaluación: 


° Definir los indicadores con los que se evaluará el proyecto. Los criterios comunes incluyen alcance, 
cronograma, costo, calidad y satisfacción de las partes interesadas. 


° Elegir métodos de evaluación: 


° Métodos de evaluación 
e Evaluación cuantitativa: Utiliza datos numéricos y métricas para medir el impacto. 
e Evaluación cualitativa: Se basa en observaciones subjetivas y entrevistas. 
e Evaluación mixta: Combina ambos enfoques. 


e Análisis de costo-beneficio: Comparar los costos con los beneficios generados por el proyecto. 


TÍTULO DE LA MATERIA 


Cómo se evalúa un impacto 


e Garantizar rendición de cuentas: 
e La evaluación debe asegurar que los responsables del proyecto sean 
conscientes de que su trabajo se evaluará. 
° Toma de decisiones basada en datos: 
e Utilizar los resultados de la evaluación para tomar decisiones estratégicas, como 
continuar, modificar o terminar el proyecto. 
e Recordar que la evaluación de impacto es una herramienta poderosa para 
mejorar la gestión de proyectos y lograr resultados positivos y sostenibles. 


Cómo se evalúa un impacto 


A La evaluación de impacto de proyectos puede ser un proceso desafiante debido a diversas 
razones. 


Complejidad de la comparación: 


Ña í . Identificar a | rson muni ra realizar comparacion r 
Se Desafios comunes: dent ficar a las personas y comu dades para realizar compa aciones puede se 
complicado, especialmente en proyectos de desarrollo comunitario que abarcan una 


amplia gama de actividades. 


La falta de datos precisos y relevantes puede afectar la toma de decisiones 


A Información incompleta O imprecisa: informadas sobre la viabilidad del proyecto. 


Diseñar una evaluación rigurosa, factible y relevante requiere conciliar criterios 


SYS Conciliacion de criterios: políticos, técnicos y operativos que a veces pueden parecer incompatibles. 


Cómo se evalúa un impacto 


Medición de Participación de 


a Efectos no Contexto ae 
impacto a largo a ' a | múltiples partes 
" previstos: cambiante: a s 
plazo: interesadas: 
; >) g G a ; N (— N 
Evaluar el impacto Los proyectos pueden Las condiciones sociales, : 
; h ee ; Coordinar y obtener datos 
sostenible a lo largo del generar impactos económicas y ambientales de diyersas partes 
tiempo puede ser inesperados, positivos o pueden cambiar durante la interesadas ven am 
desafiante, especialmente negativos, que deben implementación del con nee 
cuando los efectos se considerarse en la proyecto, lo que afecta la p : 
| manifiestan gradualmente. ) evaluación. evaluación. ) A J 
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Aspectos relevantes 


Los aspectos que se consideran relevantes para el desarrollo 

SY sustentable, y por lo tanto fungen como marco de referencia 
para la Evaluación de Impacto Social se agrupan en tres 
categorías: 


1. Ambientales; 
2. Sociales; 


3. Económicos. 


Q Los aspectos y los indicadores que definen su alcance se encuentran numerados de manera progresiva a efecto de facilitar su 
identificación 


En la tabla se presenta parámetros sugeridos, no obstante, pueden surgir otros de acuerdo con las metas del proyecto. 
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Objetivo General de la Medición de Impactos 


e La orientación para evaluar los Impactos Sociales de las Propuestas con 
el fin de que el Proyecto cumpla de mejor manera con los principios de 
sustentabilidad, equidad social y respecto a los derechos humanos. 
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Objetivos Específicos 


e Gestionar la Identificación y evaluación de los posibles Impactos 
Sociales que se pueden derivar del Proyecto. 


e Establecer de Medidas de Mitigación de Impactos Negativos. 


e Seleccionar parámetros de seguimiento continuo 


Aspectos para tomar en cuenta 


Aspectos para tomar en cuenta 


Cuestionario: 


Es el Cuestionario para la 
Identificación y 
Evaluación de Impactos 
Sociales. 


°1 
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Desplazamiento: Se 
consideran dos tipos de 


desplazamiento: 
Desplazamiento fisico: Ocurre 
durante los procesos de 
reasentamiento cuando las 
personas deben trasladarse a 
otro lugar, relacionada con el 
proyecto. 


Desplazamiento económico: 
Sucede la gente no se ven 
afectadas, pero existe una 
pérdida o restricción en el 
acceso a otros bienes y 
recursos que afectarían 
negativamente los bienes, los 
medios de vida y subsistencia 
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Etapas del 


Proyecto: Se refiere a 


las fases de planeación, 
planificación, 
implementación de los 
Proyectos. 
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Impacto 


Ambiental: 
Modificación del 
ambiente ocasionada por 
la acción del hombre o 
de la naturaleza. 
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Impacto 


Económico: Valor 
añadido bruto en la 
producción, empleos 
generados en receptores 
directos e indirectos de 
una inversión, así como 
los que se producen 
gracias al consumo de 
bienes y servicios 
realizado por empleados 
de los sectores 
beneficiados. 


Impacto Social: 

Son todos los posibles cambios y 
consecuencias (positivas o 
negativas) en la población que 
resultan del desarrollo de 
proyectos y que pueden alterar 
la forma en que las comunidades 
y los individuos viven, trabajan, 
se relacionan entre sí y se 
organizan para satisfacer sus 
necesidades, incluyendo aquello 
que pueda afectar sus derechos, 
creencias y valores que rigen y 
organizan su cosmovisión, su 
entorno y sus contextos 
socioeconómicos y culturales. 


Aspectos para tomar en cuenta 


Impactos Negativos: 
Los posibles cambios y 
consecuencias 
negativas en materia 
ambiental, social y 
económica que pueden 
resultar del desarrollo 
de las diversas Etapas 
del Proyecto en el Área 
de Influencia. 


Línea Base: Es la 
primera medición o 
valor estimado de los 
parámetros 
seleccionados para la 
realización del 
monitoreo periódico de 
los Impactos Sociales. 


Matriz: Es la Matriz 
para la Identificación y 
Evaluación de Impactos 
Sociales. 


Medida de Ampliación 
de Impactos Positivos: 
Acciones que se llevan 
a cabo para maximizar 
los Co-beneficios del 
desarrollo de 
Proyectos. 


Medidas de 
Mitigación: Acciones 
que se llevan a cabo 
para evitar o minimizar 
los Impactos Negativos 
generados por el 
desarrollo de 
Proyectos. 


Mitigación: Es el 
proceso de elaboración 
y aplicación de los 
procesos, 
procedimientos y/o 
cambios a una 
intervención planificada 
con el fin de evitar, 
reducir, minimizar o 
compensar los impactos 
que podrían ser 
experimentados. 
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Proceso de evaluación de Impacto Social 


1. Revisión e incorporación de buenas prácticas 
2. Aplicación de instrumentos para la identificación y evaluación de impactos sociales 


3.Elaboración de plan de monitoreo 


4. Elaboración de reportes periódicos de Impactos 


Buenas prácticas para la evaluación del Impacto Social 


° Perfil de la comunidad educativa: 
e Análisis de actores interesados 


e Discusión del entorno sociopolítico 


e Evaluación de necesidades, intereses, valores y aspiraciones de los diferentes grupos 
que componen las comunidades afectadas. 


e Identificación de grupos vulnerables 
e Caracterización de las comunidades involucradas en el área de influencia del proyecto 
e Considerar cuestiones de género 


Buenas prácticas para la evaluación del Impacto Social 


e Línea Base y Trazabilidad de los Impactos 


° Se sugiere establecer una Línea Base y recopilar información relevante para identificar 
el valor inicial de los parámetros de monitoreo periódico que se utilicen para el 
monitoreo periódico. Una justificación para los mismos es recomendable. 


e Los valores iniciales de Línea Base pueden medirse o estimarse, y deben sustentarse en 
metodologías cuantitativas y cualitativas y, para éstas últimas podrán considerarse los 
grupos focales, ejercicios participativos, entrevistas semi-estructuradas y/o cualquier 
otra técnica participativa. 


e Es de fundamental importancia generar y aportar sustento documental y asegurar la 
trazabilidad de los impactos. 


Buenas prácticas para la evaluación del Impacto Social 


Mecanismos de Resolución 


Plantear estrategias y acciones que fomenten un diálogo permanente entre el ejecutor del 
proyecto y la comunidad. Por ejemplo, el establecimiento de un mecanismo de resolución de 
quejas, y un enlace comunitario. 


El mecanismo de resolución de quejas es un proceso formalmente establecido para hacer frente de 
manera oportuna a las quejas de personas, trabajadores, Comunidades, Actores Interesados, que 
están o sienten que están siendo afectados negativamente por las actividades del proyecto. El 
mismo debe ser accesible, propiamente comunicado y estar disponible para las Comunidades y 
Actores Interesados de acuerdo con su situación particular. También debe garantizarse que las 
quejas se reciban y manejen adecuadamente. 


Buenas prácticas para la evaluación del Impacto Social: Mitigación 


- Atenuarenelpuntode 


Compensar por otros medios 


Buenas prácticas para la evaluación del Impacto Social: Aspectos 
sociales a considerar 


Eficiencia del uso de los recursos y prevención de 
la contaminación: Evitar o minimizar los impactos 
adversos (contaminación) sobre la salud humana 
y el medio ambiente. Al mismo tiempo, promover 
un uso más sostenible de los recursos y reducir 
las emisiones de gases de efecto invernadero 
(GEI) relacionadas con el proyecto. 


Salud y seguridad: Anticipar y evitar los impactos 
adversos para la salud y la seguridad de las 
comunidades afectadas durante el Proyecto. 


Trabajo: Promover el trato justo, la no 
discriminación y la igualdad de oportunidades de 
los trabajadores; condiciones de trabajo seguras y 
saludables; prevenir el uso del trabajo forzoso. 
Proteger a los trabajadores, incluidas las 
categorías de trabajadores vulnerables. 


Reasentamiento: Evitar el desplazamiento o, 
cuando ello no resulte posible, reducirlo al 
mínimo mediante la exploración de diseños 
alternativos del Proyecto. Mejorar o restablecer 
los medios de subsistencia y los niveles de vida de 
las personas desplazadas. 


Buenas prácticas para la evaluación del Impacto Social: Aspectos 
sociales a considerar 


ne para la Identificacion y Evaluacion de Impactos 
Sociales 


== = 
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La aplicación de un cuestionario debe ser consistente con la Para cada aspecto es necesario evaluar si los En caso de que un proyecto llegue a impactar 
información técnica del proyecto presentada en los formatos indicadores específicos impactan positiva o negativamente y tener co-beneficios para un 
de solicitud, con el fin de representar correctamente los negativamente. mismo aspecto, es necesario especificar 

posibles impactos de las tecnologías y el alcance del área de ambas situaciones. 


influencia. 


Cuestionario para la Identificación y Evaluación de Impactos 
Sociales: Ambientales 


Ejemplo: un proyecto de creación de una Unidad Educativa Técnica para formar especialistas en metal-mecánica, genera un 
impacto en la calidad del aire, por un despedir de Oxido de azufre y Oxido nitroso al aire y por contaminación por ruido. 


PREGUNTAS ESPECÍFICAS 

¿El Proyecto impacta en el nivel / frecuencia / hora de las emisiones de SOx (óxidos de azufre), 
NOx (óxidos nitrosos), material particulado, emisiones de compuestos orgánicos volátiles u 
otros gases contaminantes? 

° ¿El Proyecto tiene impactos en el nivel / frecuencia / duración de ruido? 

° ¿El Proyecto tiene impactos en el nivel / frecuencia / duración de olores? 

° ¿El Proyecto tiene impactos en el nivel / frecuencia de emisiones de polvos o cenizas? 

° ¿Existen otros Impactos y/o Co-beneficios en torno a la calidad del aire? 


Responder a la que corresponda a su proyecto 


Cuestionario para la Identificación y Evaluación de Impactos Sociales: 
Ambientales 


El proyecto en cuestión impacta en el consumo excesivo de agua y generación de agua residual 
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PREGUNTAS ESPECIFICAS 

¿El Proyecto tiene impactos en la generación o tratamiento de aguas residuales? 

¿El Proyecto considera medidas para la conservación y el uso eficiente del agua? 

¿El Proyecto tiene impactos en el suministro de agua confiable y accesible, o impacta en la 
red de distribución? 

¿El Proyecto tiene impactos en la disponibilidad de agua potable? 


¿El Proyecto tiene impactos en el estado ecológico de los cuerpos de agua? 


Cuestionario para la Identificación y Evaluación de Impactos 
Sociales: Aspectos Sociales 


El proyecto tiene impacto 
en los puestos de trabajo y 
oportunidades de empleo 
que generará ingresos, 
aportando con 
conocimientos de 
condiciones seguras de 
trabajo y no 
discriminación. 


PREGUNTAS ESPECÍFICAS 


¿El Proyecto tiene impactos sobre el número de empleos permanentes o de largo plazo (> 1 año)? Por 
favor, indique el número de personas empleadas / a emplear. 


¿El Proyecto tiene impactos sobre el número de empleos temporales o de corto plazo < 1 año)? Por favor, 


indique el número de personas empleadas / a emplear. 


¿El Proyecto impacta sobre fuentes de generación de ingresos? 
¿El Proyecto tiene impactos en materia de salud y seguridad ocupacional? 
¿El Proyecto tiene impactos en materia de discriminación, trabajo forzado, o trabajo infantil? 


¿El Proyecto tiene impactos en materia de libertad de asociación y/o negociación colectiva? 


¿Existen otros Impactos y/o Co-beneficios en torno a aspectos relacionados con empleo y/o condiciones 
laborales? 


Cuestionario para la Identificación y Evaluación de Impactos 
Sociales: Aspectos Sociales 


El proyecto tiene impacto en educación, difusión de información, concientización, ejecución de programas de educación, 
capacitación entre otras: 


PREGUNTAS ESPECÍFICAS 


¿El Proyecto tiene impactos en ¿El Proyecto tiene impactos en 

Y cuanto a formación relacionada SA servicios educativos (escuelas, 
con la inserción, reinserción o f<: maestros, acceso o calidad de la 
actualización laboral? educación, etc.)? 


¿Existen otros Impactos 
¿El Proyecto tiene impactos en Negativos y/o Co-beneficios en 
difusión del conocimiento? torno a otros aspectos 


educativos y de capacitación? 


Cuestionario para la Identificación y Evaluación de Impactos 
Sociales: Aspectos Sociales 


A A hex CER 1 = AA y Des 
¿El Proyecto tiene im el desarrollo 


comunitar VU SUUIa!:. I 


El proyecto tiene impacto en el bienestar 
social, el desarrollo comunitario y social, 
las condiciones de vida de la comunidad, la 
mitigación de pobrezas, entre otros. la pobreza de la comunidad? 


¿El Proyecto tiene impactos en el nivel de vida y 


PREGUNTAS ESPECÍFICAS 


¿Existen otros Impactos Negativos y/o Co- 
beneficios en torno a otros aspectos del 
bienestar social? 


Cuestionario para la Identificación y Evaluación de Impactos 
Sociales: Aspectos Sociales 


El proyecto tiene impacto en la participación equitativa entre hombres y mujeres en oportunidades de empleo, remuneración 
toma de decisiones, desarrollo profesional entre otros beneficios. 


PREGUNTAS ESPECÍFICAS 


¿El proyecto tienes 
impactos en la forma de 
vida, educación, o 
capacitación para mujeres 


= y hombre por igual? 


éEl proyecto tienes 
impactos en la posición de 
las mujeres en la 
estructura social? 


a 
¿El proyecto tiene otros 
impactos que afecten 
positiva o negativamente a 
las mujeres o a los 
hombres? 
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Cuestionario para la Identificación y Evaluación de Impactos 
Sociales: Aspectos Sociales 


El proyecto tiene impacto en el estilo de vida de las comunidades y organizaciones, cuenta con procedimientos 
apropiados de buena fe y a través de instituciones representativas que permita la participación libre de los 
integrantes de las comunidades en la identificación, evaluación y mitigación de cualquier impacto social. 
PREGUNTAS ESPECÍFICAS 


¿El Proyecto tiene impactos en los estilos 
tradicionales de vida de la comunidad? 


Cuestionario para la Identificación y Evaluación de Impactos 
Sociales: Aspectos Sociales 


El proyecto tiene impacto o altera la integrada física, 
ubicación, acceso, seguridad o características 
intrínsecas de patrimonio con significancia 
arqueológica, cultural, histórica y/o religiosa dentro 
del área de influencia 


PREGUNTAS ESPECÍFICAS: 


>> 


El Proyecto tiene impactos en: 


en el patrimonio arqueológico 


cultural histórico y/o religioso 


dentro del área de influencia? 


Cuestionario para la Identificación y Evaluación de Impactos 
Sociales: Aspectos Sociales 


El proyecto tiene impacto o considera mecanismos que aseguren el involucramiento de parte interesadas en el 
área de influencia, como la identificación de impactos o planeamiento y resolución de quejas y conflictos 


PREGUNTAS ESPECÍFICAS 
El Proyecto consid A ga 


La implementación de La implementación de Provee medios accesibles para 
estrategias de participación, estrategias difusión de planteamiento y resolución de 
información sobre impactos, quejas y conflictos 


Cuestionario para la Identificación y Evaluación de Impactos 
Sociales: Aspectos económicos 


° El Proyecto tiene impactos en el 
desarrollo y la estabilidad 
económica a través de la 
iniciación de nuevas actividades 
industriales, inversiones, el 
establecimiento y 
mantenimiento de la 
infraestructura, mejoras en la 
productividad, reducción de 


costos, o la creación de 
oportunidades de negocio. 


e PREGUNTAS ESPECÍFICAS 


Cuestionario para la Identificación y Evaluación de Impactos 
Sociales: Aspectos económicos 


El Proyecto tiene mejora el acceso, la disponibilidad y la calidad de los servicios de electricidad y calefacción / 
refrigeración, así como su cobertura y confiabilidad. 


PREGUNTAS ESPECÍFICAS 
Ful q 
LE : one 
An ED 


¿El Proyecto tiene impactos en ¿El Proyecto tiene impactos en ¿El Proyecto tiene impactos en ¿El Proyecto tiene impactos en ¿Existen otros impactos en 
la capacidad y generación de torno al acceso y disponibilidad torno a la calidad o el costo de la energía en el área relación a la energía? 
energía eléctrica o térmica? de energía? confiabilidad de los servicios de de influencia? 


energía eléctrica o térmica? 


Cuestionario para la Identificación y Evaluación de Impactos 
Sociales: Aspectos económicos 


El Proyecto facilita la transferencia de tecnología o la difusión de las nuevas tecnologías locales. Alternativamente tiene impactos en el desarrollo de conocimientos sobre 
cómo adaptar las nuevas tecnologías a una región. La innovación de equipos y procesos se puede incluir como beneficios de transferencia de tecnología. 


PREGUNTAS ESPECÍFICAS 


. À I i ¿El Proyecto tiene impactos en la obtención de 
¿El Proyecto tiene impactos en el desarrollo de ` on ne 2 
t SDS tal b ilotai (Spa da e z conocimiento útil y sustentable sobre una tecnología 
~ ed a 5 s UE AMA en una región que carece de experiencia en la 
nuevas tecnologías a circunstancias no probadas? — mal : 
= utilización de la misma? 


a ¿El Proyecto tiene impactos en monto de gasto en la 


C e: tecnología del proyecto (por ejemplo, gastos de 
investigación y desarrollo)? — 5 — 


g==ə ¿Existen otros impactos en torno a transferencia de 
Ex tecnología? 


TÍTULO DE LA MATERIA 


Evaluación de impactos de proyectos 
educativos 


e Para medir los resultados de un proyecto educativos, que son proyectos 
sociales, requiere enfoques específicos y distintos a los utilizados en 
proyectos del sector privado. 


° Se debe implementar indicadores de seguimiento para monitorear 
tanto el progreso como los resultados, brindando una visión completa 
del impacto generado. Con este enfoque, se podrá demostrar el 
verdadero valor y efectividad de tu proyecto social. 


Indicadores de proyectos educativos 


li Los indicadores de proyectos educativos y/o sociales son herramientas que se utilizan para medir y evaluar el impacto y el progreso de 
" un proyecto específico. 


@ Un indicador social ayuda a seleccionar de manera estratégica medidas cuantitativas o cualitativas que permitan evaluar si los 
Ç j) objetivos y metas del proyecto se están cumpliendo de manera efectiva. 


A Además de evaluar el cumplimiento de los objetivos, los indicadores de proyectos sociales y/o educativos, estos actúan como 
y indicadores de gestión de proyectos, facilitando el monitoreo continuo y la toma de decisiones informadas 


Los indicadores permiten a los gestores identificar áreas de mejora y ajustar las estrategias según los avances observados. El uso de 
| métricas cuantitativas y cualitativas hará que el indicador de proyecto brinde una visión integral del impacto, asegurando que los 
recursos se utilicen de manera eficiente. 
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Indicadores de proyectos educativos 


Los indicadores de evaluación de un proyecto 


erse Estos indicadores tienen la capacidad de permiten medir no solo el cumplimiento de 
AY evaluar el impacto real de un proyecto en la ( ) metas y objetivos, sino cómo se están 
comunidad. generando cambios en la calidad de vida, la 
inclusión o el acceso a servicios. 


Los indicadores de seguimiento ofrecen un 


monitoreo continuo que facilita la El uso de indicadores sociales no solo refleja el 
identificación de áreas que necesitan ajustes. éxito o áreas de mejora de un proyecto, sino 
Esto permite a los responsables del proyecto A. que contribuye a asegurar la sostenibilidad y el 
tomar decisiones informadas y mejorar la beneficio a largo plazo de las intervenciones 
eficacia de las iniciativas en función de los sociales. 


resultados observados. 


Tipos de indicadores de proyectos sociales/educativos: 


Indicadores de entrada 


= = 
| | Por ejemplo, el | 
presupuesto asignado, el 
personal involucrado, los 
materiales y equipos 
necesarios, y el tiempo de 
implementación. 


Son medidas relacionadas 
con los recursos y las 
actividades necesarias para 
implementar el proyecto 
social. 


Tipos de indicadores de proyectos sociales/educativos: 
Indicadores de resultado 


Estos indicadores miden los resultados directos e inmediatos Los indicadores de resultado pueden medir cambios en el 
del proyecto social. Refiriéndose a los cambios o mejoras conocimiento, las actitudes, las habilidades o el 
observables que se producen como resultado de las comportamiento de los beneficiarios. 


actividades realizadas. 


Por ejemplo, se puede medir la tasa de alfabetización de los participantes, la reducción de la pobreza o la 
mejora en la salud de una comunidad. 


Tipos de indicadores de proyectos sociales/educativos: 
Indicadores de impacto 


Son indicadores que miden los cambios a Evalúan el impacto social, económico o 
largo plazo y más amplios que se producen ambiental a nivel comunitario o incluso más 
como resultado del proyecto. allá. 


Por ejemplo, el aumento en los ingresos familiares, la disminución de la violencia en una comunidad o la 
mejora en la sostenibilidad del medio ambiente. 


Herramientas de medición de indicadores: Encuestas 
y cuestionarios estructurados 


Son herramientas de recolección de datos que capturan tanto indicadores de gestión de 
proyectos como información sobre el impacto social. 


K 


Preguntas estandarizadas permiten evaluar cambios en la percepción de los beneficiarios, 


medir satisfacción y observar mejoras en áreas específicas, como educación, salud o 
empleo. 


© 
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Herramientas de medición de indicadores: Sistemas 
de monitoreo digital y paneles de control 


e Plataformas como Google Data Studio permiten la 
visualización y análisis en tiempo real de los datos 
recopilados, facilitando el seguimiento de los indicadores 
sociales y el ajuste inmediato de estrategias, permitiendo que 


los indicadores de gestión de proyectos se mantengan 
actualizados y accesibles. 
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Herramientas de medición de indicadores: 
Herramientas de procesamiento de datos 


e Con la ayuda de herramientas que permiten transformar 
datos en información significativa, los gestores pueden 
evaluar patrones y tendencias, posibilitando el análisis de 
variables como ingresos, acceso a servicios, o índices de 
bienestar en la comunidad. 


Herramientas de medición de indicadores: Métodos 


participativos 


Estos incluyen sesiones de grupos 
focales, entrevistas abiertas y 
talleres comunitarios, que brindan 


una perspectiva cualitativa y ayudan 
a definir y validar el indicador de 
proyecto y los indicadores sociales 
en conjunto con la comunidad. 


Este enfoque colaborativo se 
asegura que los indicadores reflejen 
las realidades locales y que el 
proyecto se mantenga alineado con 
las necesidades de los beneficiarios. 


Herramientas de medición de indicadores: Evaluaciones de línea 
base y línea final 


Z Consisten en realizar una medición inicial y una final para comparar los 
cambios generados por el proyecto. 


SY La línea base identifica las condiciones previas en la comunidad, y la 
línea final mide el impacto alcanzado. 


O Este enfoque es clave para demostrar los logros del proyecto de manera 
2% clara y cuantificable. 
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Indicadores de evaluación de proyectos sociales 


N 


Los indicadores de evaluación de los proyectos 
sociales se los utiliza para evaluar el impacto en 
diferentes variables, el efecto causado, sea en 
el entorno o factores implicados, o el 
cumplimiento de los objetivos que se 
definieron al inicio del proyecto. 


Junto con los indicadores de seguimiento, 
ayudan a los gestores a observar cómo las 
acciones del proyecto afectan a la comunidad y 
a ajustar estrategias para maximizar los 
beneficios. 


Y = 
Y = 


Estos indicadores de evaluación de un proyecto 
permiten no solo medir el cumplimiento de los 
objetivos, sino también analizar el impacto en 
diversas variables, como el entorno y los 
factores involucrados. 


Este enfoque integral asegura que el proyecto 
tenga un impacto positivo y sostenible a largo 
plazo. 
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Indicadores de evaluación de proyectos sociales y de 
educación: Indicador de impacto 


e Estos indicadores evalúan los cambios significativos y a largo 
plazo que se producen como resultado del proyecto social. 


e Pueden medir la influencia en variables como la calidad de 
vida, el bienestar social, la equidad y otros aspectos clave. 


° A continuación, algunos ejemplos de indicadores de impacto 
para proyectos sociales. 


OBJETIVO INDICADOR 


T 


L. i 


Af 
VN 


Reducción de la pobreza 


m 


Acceso a la educación 


í 


mujeres 


Reducción de brecha económica entre hombres y 


Fortalecimiento de la comunidad 


Promoción de la igualdad de género 


seguridad alimentaria 


Cambio en el comportamiento 


ii 
at 


o de habilidades y capacidades 
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Indicadores de evaluación de proyectos 
sociales y de educación 


e Indicador de efecto 


e Son herramientas que se utilizan para medir los impactos o 
cambios sociales más amplios que se derivan de un proyecto 
o programa social. Estos indicadores evalúan los resultados a 
largo plazo y buscan comprender el efecto transformador que 
ha tenido la intervención en la sociedad. 


e Ejemplos de indicadores sociales de efecto: 
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Indicadores de evaluación de proyectos sociales y de 
educación: Indicadores de cumplimiento 


e Son herramientas que se utilizan para medir los impactos o 
cambios sociales más amplios que se derivan de un proyecto 
O programa social. 


e Estos indicadores evalúan los resultados a largo plazo y 
buscan comprender el efecto transformador que ha tenido la 
intervención en la sociedad. 


e Ejemplos de indicadores sociales de efecto: 
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Desafíos en la medición de indicadores sociales 


Medir los indicadores sociales es fundamental para evaluar el impacto y la efectividad de los proyectos sociales, no 
obstante, identificar y analizar el indicador de proyecto puede ser un desafío, especialmente debido a la falta de 
datos precisos, la dificultad para definir métricas específicas y las limitaciones en el seguimiento a largo plazo. 


À 


Limitaciones de recursos: La medición de indicadores sociales requiere 
tiempo, personal capacitado y financiamiento. En muchos proyectos 
sociales, estos recursos son limitados, lo cual dificulta la implementación 
de evaluaciones y el seguimiento adecuado. | 


Definición y selección de indicadores adecuados: Elegir los indicadores de 

seguimiento y los indicadores de gestión de proyectos correctos puede ser 

complicado, ya que deben reflejar tanto el impacto en la comunidad como 

el cumplimiento de objetivos específicos. Sin indicadores bien definidos, el 
análisis se vuelve poco preciso y subjetivo. 
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Desafíos en la medición de indicadores sociales 


Variabilidad en el entorno social: Los 
contextos sociales son cambiantes y Medición de resultados a largo plazo: 
diversos, lo que puede afectar la consistencia Muchos indicadores sociales tienen un 


de los datos. Por ejemplo, factores impacto a largo plazo, lo que dificulta su 
económicos o cambios en las políticas evaluación en plazos cortos. Esto representa 
pueden alterar los resultados, afectando la un desafío, ya que los proyectos suelen 
validez de los indicadores de seguimiento y requerir resultados medibles en tiempos 
obligando a los gestores a realizar ajustes más limitados. 
constantes. 
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Desafíos en la medición de indicadores sociales 


Recolección y análisis de datos cualitativos: 
Los datos cualitativos, como la percepción y 
las experiencias de los beneficiarios, son 
fundamentales en los proyectos sociales, 
pero su recolección y análisis pueden ser 
subjetivos y complejos. 


Transformar estas percepciones en 
indicadores de gestión de proyectos 
cuantificables requiere de metodologías 
específicas y experiencia. 


Acceso y compromiso de los beneficiarios: 
A veces es difícil obtener una participación 
constante de los beneficiarios en los 
procesos de evaluación, ya sea por falta de 
interés, desconfianza o limitaciones 
geográficas. 


Esto puede afectar la representatividad de 
los indicadores de seguimiento y limitar la 
precisión de los resultados. 
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Matriz de identificación y evaluación de impactos 
soclales 


Ti l ae Medida d 
ipo de Impacto Descripcion edida de 


mitigación (en 


del impacto y 


Aspecto Indicador ee ie caso de 
a 3 Impacto negativo Beneficio beneficiario . 
positivo impacto 
negativo) 
1.0 Porcentaje de beneficiarios que han aumentado sus 
Reducción de ingresos por encima de la línea de pobreza 
pobreza 


Número de grupos comunitarios establecidos o 
fortalecidos con el proyecto educativo 


Porcentaje de participantes del proyecto que han 
adquirido nuevas habilidades o conocimientos que 
le han permitido mejorar su condición de vida 


(ures: ¡GRACIAS! cape 


Introducción 


En la segunda unidad se trabajará el diseño de proyectos en la Metodología de Marco lógico. Esta 
metodología es una herramienta beneficiosa para la planificación, conceptualización, ejecución y 
evaluación de proyectos educativos. Permite tener una organización efectiva, identificar problemas y 
soluciones, planificar y hacer el seguimiento continuo. Esta metodología generalmente es utilizada 


para las instancias públicas y de cooperación internacional. 
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Resultados de aprendizaje 


e Comprender la dinámica de Metodología de Marco Lógico. 
e Reconocer las fases y los elementos que constituye la Metodología en Marco Lógico. 
e Diseñar la Matriz de Indicadores de Resultados 


e Presentar el proyecto en marco lógico. 
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Mapa Conceptual 


Introducción a la Metodología de 
Marco Lógico 


Etapa 1. Diagnóstico 


Etapa 2. Árbol de problemas 
Fases de la Metodología de Maro 
lógico (MML) 


Etapas de MML 


Metodología de Marco 
Lógico para el diseño, 
seguimiento y 
evaluación de 
proyecto y programas 
educativos Diseño de la Matriz de 
Indicadores de Resultados 


Presentación del proyecto en 
MML 
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1. Introducción a la Metodología de Marco lógico 


En la unidad anterior se ha comprendido que es un proyecto educativo, en resumen, es una 
intervención planificada que responde a un problema, necesidad o carencia detectada y con la 
intervención se ha logrado una mejora en la situación. Al reconocer que un proyecto son actividades 
ordenadas que tiene establecido un número de recursos para lograr unos objetivos establecidos en 


función de tiempo, lugar, beneficiarios, y que ayude a la solución de problemáticas (ONG, 2023). 


Intervención 
Planificada 


e Proyecto o 
programa 


e Situación 
luego de la 
intervención 


Situación 
final 


e Necesidad 
e Problema 
e Carencia 


Situación de 
partidas 


Gavilan y otros (2010) 


Proceso de la metodología en marco lógico 


¿Cómo nace un proyecto? 


Como se ha visto, nace de detectar un problema, reconocer las oportunidades que se tiene para 
hacer algo que logre un cambio satisfactorio, entonces, se planifica y se pone en marcha. En este 
punto se reconoce la temporalidad, el propósito y los objetivos, para ello se debe establecer los 


beneficiarios, los recursos, los roles y las responsabilidades, y las incertidumbres. 


is x ° 
. ° @ °. Idea - 
Necesidad Formulación 
@ e del problema 
) 
© ds ¿9 


Proceso de planificación 
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Ciclo de vida del proyecto 


En el marco lógico es necesario saber en qué momento se encuentra el proyecto, en otras palabras, 
reconocer su ciclo de vida. En primera instancia se encuentra a la fase de pre-inversión, el momento 
en que se identifica, se establece el perfil del proyecto, se analiza su factibilidad y se desarrolla el 
diseño definitivo. La segunda fase es la inversión/ejecución donde se debe tener claro quiénes serán 
los inversores del proyecto e instalar las actividades. Como tercera fase está la producción de bienes 
y/o servicios. En esta etapa se planifica, ejecuta, se realiza el seguimiento y el control. La última 
fase, es la de evaluación de resultados que miden los impactos que ha tendido el proyecto en la 


comunidad 


Etapas del ciclo de vida 


Etapas del ciclo de vida 


Para iniciar a desarrollar el proyecto es necesario responder a los siguientes cuestionamientos: 


e ¿Cuál es la necesidad (problema o carencia) /oportunidad que se ha detectado? 
e ¿Quiénes serán los posibles involucrados? 


e ¿Quiénes serán los posibles beneficiados? 


maestriasenlinea.ute.edu.ec 
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e ¿Se ha diseñado proyectos similares? 

e ¿En otros lugares, hay proyectos similares? 

e Silos hay, ¿Qué características tienen? 

e La propuesta ¿Qué tipo de servicio? 

e Las condiciones actuales (entorno) ¿Podrían permitir el desarrollo del proyecto? 

e ¿Quiénes se verian afectados? 

e ¿Qué necesitaría para poder iniciar? 

e Luego de responder a estos cuestionamientos y estar completamente claros sobre estos temas, 
estableceré la línea de acción: 

e Establecer la primera acción 

e ¿Cómo presenta la idea a los directivos o al distrito? 

e ¿Cómo reconocer si se está en el camino correcto? 

e ¿Se ha tomado en cuenta todo lo necesario para iniciar el proyecto? 

e ¿Se tiene los recursos necesarios para iniciar o debo buscar recursos? 

e ¿Se está planeando lo qué se proyectó? 

e ¿Es necesario el apoyo externo? 

e ¿Cómo evaluo la efectividad del proyecto? 


e ¿Se debe reajustar las metas? 


Una vez analizadas estas preguntas, debemos establecer un método para presentar el proyecto o 
plan. Esta es una herramienta analítica que suministra herramientas e instrumentos para la 
planificación, ejecución y evaluación de proyectos, en otras palabras, para la gestión de proyectos 
orientados por objetivos. Se organiza por pasos que pasan desde la identificación hasta la 
formulación y resultados finales de un proyecto (Pacheco, Ortegón y Prieto, 2015). Se orienta a la 


solución de problemas específicos a través de tres fases: 
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Fases del Marco Lógico 


maestriasenlinea.ute.edu.ec 
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2. Fases de la Metodología de Marco Lógico (MML) 


Esta metodología se aplica dentro de un determinado contexto para el que será válido. Lo que define 
la MML no es un producto final, sino el proceso a seguir para la construcción de la Matriz de Marco 


Lógico. 


2.1. Etapas de la MML 


La MML inicia por el análisis de la situación presente, pretende localizar el problema que afecta a 

los sujetos establecidos en la problemática y se desea intervenir. Tiene una visión de lo deseado, lo 
ideal, con base en los recursos disponibles y las limitantes en el medio, se imagina hasta donde se 

desea o se puede llegar con el proyecto. Finalmente se establecen las estrategias a utilizar, 


planeando y analizando diferentes alternativas para encontrar las más adecuadas para la situación. 


La MML está conformada por etapas como son el diagnóstico, la construcción del árbol de 
problemas, las alternativas de solución, la estructura del proyecto, la matriz de marco lógico y el 


presupuesto. 


2.1.1. Etapa 1. Diagnóstico 


Para iniciar el diagnóstico es necesario identificar el problema principal, la situación problemática, 
que es el comienzo y la justificación de la intervención que se diseñará. En este punto se debe 


identificar: 


e Problema principal, necesidad o carencia. 
e Dimensión del problema 


e Delimitación de la población que se encuentra afectada por el problema 


Un programa o proyecto tiene como meta solucionar una problemática que aqueja a un grupo 


específico, lo que da paso a la conceptualización de una situación deseada. 
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Situación deseada 


Situación inicial 


_ Problema resuelto | 
= m 
i 


https://www.freepik.es 


https://www.freepik.es 


Conceptualización de la necesidad a la solución 


En el Sistema Educativo Ecuatoriano al identificar un problema, necesidad o carencia se rige de 
acuerdo con el nivel, para el nivel escolar se rige actualmente con la Ley Orgánica de Educación 
Intercultural (LOEI) y su reglamento (RELOEI) y el Proyecto Colmena, para Institutos y 
Universidades de 3er y 4to nivel se rige a la Ley Orgánica de Educación Superior (LOES) y sus 


reglamentos. 


En esta etapa se documenta e interpreta los diferentes aspectos de la realidad que interesa 


intervenir, se contextualiza. Se define los marcos del proyecto: 


e Local, Nacional o, internacional. 


e Urbano, rural. 


Economico, politico, social, legal, cultural, institucional. 


Largo plazo- coyuntura. 
Es el momento en que se debe tener claro la población que se ve afectada, llamada población 


potencial a quién atenderá el proyecto. Para reconocer la población hay tener claro el tipo de 


poblaciones que se refiere la MML. 
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Población de Es la población que está relacionada 1. Los estudiantes de la Institución. 


referencia con el enfoque del proyecto que se 2. La comunidad educativa. 
encuentra en el sector que se va a 
atender. 
Población Es un segmento de la población de 1. Los estudiantes de la 
Potencial referencia que se encuentra afectada institución que pertenezcan a 
de forma directa que justifica el bachillerato. 
diseño del proyecto o programa. En 2. La comunidad educativa que 
otras palabras, conforma la población se encuentre relacionada 
elegible directamente con la 
institución. 
Población Esta población es un subgrupo de la 1. Los estudiantes de la 
Objetivo población potencial, focalizando institución que pertenezcan a 
debido a limitaciones de recursos, bachillerato que curse el último 
tiempo, presupuesto. año. 
Se establece uno o varios criterios 2. Los padres de familia de los 
para segmentarla, por ejemplo, el estudiantes de bachillerato de 
grado de incidencia. la institución que curse el 
Puede existir casos en que la último año. 
población objetivo es la población 
potencial y no sea necesario 
establecer criterios de focalización. 
Población Esta población es aquella que va a ser 1. Los estudiantes de la 


Beneficiaria 


atendida por el proyecto o programa 
durante su ciclo de vida. Esta puede 
ser la población objetivo. 


institución que pertenezcan a 
bachillerato que curse el último 
año y se encuentre con bajo 
rendimiento académico. 

2. Los padres de familia de los 
estudiantes de bachillerato de 
la institución que curse el 
último año y se encuentre con 
bajo. 


Tipos de población 


Planteamiento del problema principal 


Al plantear el problema, el equipo multidisciplinario (varios miembros de la comunidad educativa) 


debe trabajar en una lluvia de ideas en las que se debe plantearse preguntas. Por ejemplo: 


¿Existen situaciones negativas que limiten el desarrollo de los estudiantes del último año 


de bachillerato de la Institución? 
La respuesta nos generará varias aristas de este. 


El 20% de los estudiantes del último año del bachillerato están con problemas de 


rendimiento académico 


En este momento los grupos generarán ideas que ayudarán al planteamiento del problema 
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Inasistencias continuas 


Falta de motivación 


Baja calidad educativa 


No evidencian un futuro al salir de la institución 


Problemas con materias técnicas 


Para hallar el problema se debe evitar cuestiones potenciales, no plantear el problema en estado 
negativo o de ausencia, no confundir problema con solución, establecer correctamente la población 
afectada, sustentar las situaciones negativas con diagnósticos previos, como reportes de aula, lo que 


permitirá orientar la discusión. 


Errores comunes: 
Hay que sancionar a los estudiantes que 
llegan tarde 


Existen estudiante que necesitan ser 
motivados por sus docentes 


No hay control de notas 


Alta incidencia de bajo rendimiento en 
las asignaturas de física y matemáticas 


© ® © @ 


Ejemplos de errores comunes 


De esta forma se orienta la discusión de la lluvia de ideas evitando las ambigtiedades, es así como es 
importante sustentar las referencias de manera cuantitativa que evidencia la magnitud del 
problema, así como precisar la población que se encuentra afectada, estableciendo los marcos del 


proyecto. 


11/44 


Elementos estructurales mínimos 
para la expresión del problema 
principal 


Poblacióm afectada de los Estudiantes problemáticos 
estudiantes de bachillerato Migrantes 

Descripción de la situación de Género 

la problemática cental, su Pobreza 

incidencia Diversidad cultural 
Referencia cuantitativa a la Capacidades diferentes 
magnitud descrita (20 Problemas familiares 
estudiantes por cada 100 Problemas de aprendizaje 
estudiantes que cursan el Motivación 

bachillerato en a Institución Metodologías 


Elementos estructurales del problema principal 


En el caso que la situación negativa que se acuerda abordar es el problema de aprendizaje, las 


metodologías y la motivación, se debería cuestionarse: 


e ¿Qué sector de los estudiantes con problemas de rendimiento académico afecta? 
e ¿Cómo inciden las metodologías en el rendimiento académico? 
e ¿Qué herramientas motivacionales deberían utilizarse con estos estudiantes de bajo 


rendimiento académico? 


Sobre estas preguntas se debe plantear el problema central: 


Situación negativa Población Afectada Característica de la población 


Último año de bachillerato que tengan baja 
comprensión con metodologías actuales y se 
sientan desmotivados 


Bajo rendimiento Estudiantes de 
académico bachillerato 


El planteamiento del problema sería: 


Bajo rendimiento de los estudiantes de último año de bachillerato que tengan problemas de 


comprensión con las metodologías tradicionales y le afecte a su motivación 
Análisis de involucrados 


Es en este momento que Se identifica a los actores involucrados, es decir, se identifica y demuestra 
los grupos y organizaciones que se encuentran involucrados de manera directa o indirecta en el 


problema que se va a intervenir con el objetivo de tomar en consideración los intereses, potenciales 
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y limitaciones (problemas percibidos). 


Es necesario comprender los intereses de todos los actores (colectivos y particulares) que se 
encuentren involucrados con el problema. También es necesario conocer los recursos políticos, 
legales, humanos y financieros existentes para resolver la problemática. Así mismo, hay que deducir 
las posibles reacciones de los involucrados en relación con las estrategias planteas que pueden 
causar conflictos e intereses. Finalmente, se debe detectar las oportunidades y amenazas para el 


proyecto. 


Cuando se refiere a los actores involucrados hay que identificarlos y reconocer sus intereses y 
problemas, categorizar los recursos que manejan y el interés que pueden tener en participar en el 


proyecto. Al diseñar las estrategias hay que anticipar sus reacciones y negociar. 


Es importante identificar: 


Actores claves 


Intereses y expectativas de los grupos claves 


Conocer, aprovechar y potenciar el apoyo de los actores que coincidan con el objetivo del 


proyecto o programa 


Disminuir la oposición de los actores que tengan intereses opuestos 


Cabe destacar que se tienen tres tipos de actores: 


e Aliados: los que se identifican con nuestro proyecto, son positivos 
e Adversarios: los no se identifican o mantengan oposición al proyecto, son negativos 


e Neutros: son indiferentes al proyecto, son nulos 
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Grupos de 
Actores 
involucrados 
Comunidad de 
practicantes de 
Artes Escénicas 


Administración 
de las Institución 


Comunidad 
vecina del 
colegio 


Intereses 


Tener nuevos 
representantes 
de artes 
escénicas 


Ofertar nuevas 
oportunidades 
culturales a la 
comunidad 
educativa 


Quisiera 
participar con 
negocios en la 

institución 


Diagnóstico- Actores involucrados 


Problemas 
percibidos 


Qué no 
quieran 
participar 
Que los 
padres de 
familia no los 
dejen 
participar 


Puede 
generar 
discusiones 
culturales 
Consecución 

de 
presupuesto 


Oportunidad 
para mejorar 
su economía 


Diagnóstico — Actores Involucrados 


Recursos y 
mandatos 


R. Teatro de 
la 
institución 
R. 
Presupuesto 
para montar 
obras 
M. Tienen 
voz y voto el 
Rector de la 
Institución y 
los padres 
de familia 
R. 
Asignación 
de espacios 
para las 
artes 
escénicas. 
M. Permiso 
para trabajar 
en el teatro 
de la 
institución 
R. Pueden 
oponerse por 
que afecta a 
los negocios 


Intereses de 
participar en 
el proyecto 
Comunidad 
más educada 


Es 
probablemente 
alta porque es 
una 
oportunidad de 
aprendizaje y 
convivencia de 
la comunidad 
educativa 


Que se les 
proporcione la 
oportunidad de 

establecer 
ventas los días 
de estrenos de 

obras 


2.1.2. Etapa 2. Árbol de problemas 


e Al identificar el problema que se va a intervenir hay que establecer las causas y efectos, para 


esto es necesario seguir los siguientes pasos: 


e Analizar e identificar los problemas principales de la situación que se desea afrontar. 


e Realizar una lluvia de ideas para establecer el problema central, debe seleccionarse por 


prioridad. 


e Definir los efectos más importantes de la problemática. Un efecto es la consecuencia que 


resultan de la existencia el problema. 
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e Anotar las causas del problema. En otras palabras, los elementos que provocan los problemas. 

e Cuando se ha encontrado el problema central, identificadas las causas y los efectos, se 
construye el árbol de problemas. 

e Se debe hacer una revisión de la validez del árbol de problemas, asegurándose de que las 
causas y efectos representen al problema central y estén correctamente definidos y 


relacionados. 


Análisis de problemas 


Luego de que se ha consensuado el problema central, se construye el análisis de problemas basados 
en la construcción del árbol de problemas. Este árbol es un esquema gráfico que permite el análisis 
de las causas y efectos que debe solucionar le proyecto. Esta herramienta se construye de forma 
participativa con los miembros del equipo que está diseñando el proyecto, por esto es una 


herramienta participativa. 


El árbol de problemas define sobre la base de las causas y efectos, cuyos pasos son: 


e Recuperar el problema principal previamente definido. 

e Definir las causas del problema principal (Análisis de causas). 

e Definir los efectos provocados por el problema principal (Análisis de efectos) 

e Elaborar un esquema que integre las relaciones de causa a efecto (Arbol de problemas). 


e Revisar el esquema completo y verificar su validez e integridad. 


El siguiente diagrama ofrece una ruta a seguir para la definición del árbol de problemas. 
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[AFO028VXK] Diseño y evaluación de proyectos educativos 
[MOD024KG1] Diseño y evaluación de proyectos educativos 
[UDI15352Y] Metodología de Marco lógico para el diseño, seguimiento y evaluación de proyectos y programas ef...) 


Diseño del Árbol de Problemas 


Análisis de causas (Raíces del árbol de problemas) 


Para el análisis del problema se debe definir las causas que son el origen o las condiciones negativas 
que hacen que el problema exista. Para escribir las causas se debe preguntar ¿Por qué está 


ocurriendo el problema? Esta pregunta nos lleva a encontrar las causas. 


Análisis de causas 


maestriasenlinea.ute.edu.ec 


16/44 


[AFO028VXK] Diseño y evaluación de proyectos educativos 
[MOD024KG1] Diseño y evaluación de proyectos educativos 
[UDI15352Y] Metodología de Marco lógico para el diseño, seguimiento y evaluación de proyectos y programas e(...) 


Nota: No se debe redactar en condiciones negativas o ausencias, ni establecer más de tres niveles 


de causas. 


Análisis de efectos 


Para continuar con la construcción del árbol de problemas es necesario analizar los efectos, en este 
punto se definen las condiciones negativas o que sucederían si no se resuelve el problema detectado. 


En este caso la pregunta que se plantea es: ¿Qué sucedería si no se resuelve la problemática? 


Análisis de efectos 


Árbol de problemas 


Al juntar el análisis de causas y efectos se obtiene el árbol de problemas 
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Análisis de efectos 


Para finalizar hay que revisar la consistencia entre efectos y causas. Este árbol permitirá identificar 
y definir el problema, determinar las causas y efectos asociados al problema y orientar la lógica de 


intervención del proyecto. 


2.1.3. Etapa 3. Alternativas de solución 


En esta etapa se parte de la idea de solucionar las causas más profundas del problema para ir 


conformando la solución. Al seleccionar las causas se debe tener en cuenta que: 


Los objetivos sean alcanzables. 


Que exista una jerarquía entre los objetivos 


Determinar las estrategias de intervención que estén acordes a los tiempos, los costos y el tipo 


de intervención del proyecto. 


Establecer la viabilidad económica, técnica, legal, ambiental, pertinencia, eficiencia y eficacia. 
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Árbol de objetivos 


El árbol de objetivos se construye de la proyección del árbol de problemas. Se parte del siguiente 


esquema: 


| Situación deseada 


Problema resuelto | 


Proyección 


Esquema de proyección de problemas a objetivos 


Previamente se ha planteado una situación que establece un problema que tienen ciertas 
características y magnitud, que posee causas efectos y se encuentran relacionados actores. 
Entonces, para definir una situación futura se realizará el análisis de objetivos por medio del árbol 


de objetivos, que se encuentra constituidos por los medios y fines y, por el análisis de alternativas 


que se lo construye por medio de una Matriz. Estas relaciones se muestran en la siguiente figura: 


"illa za 


SB sssi 
| si de 


Relaciones del análisis de objetivos y el análisis de alternativas 


Fines y Medios del programa 


En este punto se podrá obtener la solución del problema, esto implica establecer cuáles son los 
medios por los que se puede resolver el problema y que fines se persigue con el proyecto. La 


metodología es la conversión de causas en medios y de efectos en fines 


19/44 


[AFO028VXK] Diseño y evaluación de proyectos educativos 
[MOD024KG1] Diseño y evaluación de proyectos educativos 
[UDI15352Y] Metodología de Marco lógico para el diseño, seguimiento y evaluación de proyectos y programas e(...) 


Situación actual Situación futura 
Árbol de problemas Árbol de objetivos 


Relación entre el árbol de problemas y el árbol de objetivos 


El árbol de objetivos describe la situación que podría existir después de solucionar el problema, la 
situación futura, también identifica y clasifica los objetivos por importancia y las relaciones entre 
fines-medios y objetivos. Finalmente visualiza las relaciones que se presentan en el árbol de 


objetivos. Se debe tener en cuenta las siguientes consideraciones: 


e Hay que establecer cuáles son los medios complementarios y los que pueden ser excluyentes. 
e Unas acciones pueden estar dentro de la competencia del proyecto mientras que otras 
pertenecen a otras instancias. 


e De estos medios será necesario identificar las soluciones para enfrentar el problema. 
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Medios 


t 


Último nivel del árbol de objetivos 


Fines 


Relación entre el árbol de problemas y el árbol de objetivos 


Definición de objetivos 


En la MML existen diferentes niveles que se los encuentra en el árbol de objetivos: 


e En el último nivel se encontrará el fin del proyecto 
e La situación deseada corresponde al problema central resulto como objetivo del proyecto que 
pasa a ser el propósito 


e Los medios directos son potenciales componentes del proyecto. 
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e Los medios indirectos corresponderán a las actividades. 


Relación con la lógica vertical del MML 


A partir de este árbol se construirán los objetivos del proyecto para cada nivel de la Matriz de Marco 
Lógico o Matriz de Indicadores para Resultados (MIR). Para este paso hay que valorar las 


alternativas realizando un análisis que permite: 


e Identificar las soluciones más aptas para el proyecto 
e Evaluar las posibles estrategias 


e Determinar las estrategias que se utilizarán en el proyecto. 


Para este punto se debe identificar que medios y fines deberán ser excluidos por razones de 


factibilidad. Estos se convertirán en alternativas o componentes que se convertirán en estrategias 
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óptimas bajo los criterios de recursos disponibles, factibilidad política, tiempo de ejecución. 


Las actividades que se proponen deben analizar el nivel de incidencia en la solución, agrupar 
acciones complementarias, verificar su factibilidad y vigilar que las alternativas se encuentren en el 
marco de ejecución del proyecto. Los criterios de valoración se las plasma en la Matriz de 


alternativas: 


Criterios de Alternativa 1 Alternativa 2 Alternativa 3 
valoración 

Menor costo de 
implementación 
Mayor 
financiamiento 
disponible 

Menor tiempo para 
obtener resultados 
Mayor aceptación de 
la alternativa por 
parte de la población 
afectada por el 
problema 

Mayor viabilidad 
técnica 

Mayor capacidad 
institucional 

Mayor impacto 
institucional 


Criterios de valoración de la Matriz de Alternativas 


2.1.4. Etapa 4. Estructura del proyecto 


Resumen narrativo (objetivos) 


El resumen de objetivos comprende la estructura de ellos y sus relaciones con el fin, el propósito, los 
componentes y las actividades. El diseño de la estructura del proyecto en MML tiene una causalidad 


vertical, como son objetivos/resultados esperados. Para ello es necesario percatarse de: 


e La congruencia entre árbol de objetivos y resumen narrativo 


e Definición del fin que son los impactos del programa 
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e Definición de propósito: los resultados directos que se espera generen el programa 
e Definición de componentes: los bienes o servicios que producirá el proyecto 
e Definición de actividades: Actividades que se realizaran para producir los bienes y servicios 


e Análisis de lógica vertical, relación causal entre objetivos. 


El resumen narrativo es una columna de la MIR que responde a los impactos, los resultados directos, 
los bienes y servicios y las actividades para conseguirlos. El fin está construido por los fines directos 
e indirecto, el propósito es la situación al problema principal, los componentes son los medios 


directos y las actividades los medios indirectos. Entonces, definamos los componentes de la MIR: 


e Fin: deriva del fin superior que se identificó en el árbol de objetivos, que es la contribución del 
proyecto. 

e Propósito: es el resumen narrativo de la MIR. El propósito se lo construye con el sujeto 
beneficiario más el verbo más el resultado directo esperado 

e Componentes: Los medios directos que se identifican para la solución del problema. Son los 
productos terminados o servicios entregados narrado en verbo participio 

e Actividades: tareas necesarias para desarrollar los componentes. Se las narra con un verbo 
conjugado, en orden cronológico y con identificadores que permiten relacionar el grupo de 


actividades 
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Propósito 


Sujeto = Población Verbo Resultado directo esperado 
afectada + localización 
Institución desarrolla un obtienen Mayor inclusión escolar 


plan para incrementar las 
matrículas de los 
estudiantes considerados 
de alto riesgo 


Componentes 
Productos terminados o servicios entregados Verbo en participativo 
1. Acciones para el incremento de oportunidades Establece 
para ingreso de estudiantes 
2. Capacitación docente sobre políticas de inclusión Diseña 
Actividades 
Componentes 1. Políticas institucionales 2. Capacitación docente 
de inclusión sobre políticas de inclusión 
Actividades Planificación de la articulación Capacitación sobre reglamentos 
interna y externa de procesos institucionales 
educativos 
Capacitación de metodologías Capacitación docente en equidad e 
inclusivas inclusión 


Ejemplo de las matrices de propósitos, componentes y actividades 


Para tener claridad de lo que incluirá la MIR es indispensable saber si: 


e El propósito es claro y se convierte en la solución del problema contribuyendo con un objetivo 
claro. 

e Los componentes son necesarios y suficientes para cumplir con el propósito 

e Las actividades son necesarias y suficientes para que se cumplan con las metas de los 


componentes. 


Indicadores 


En la MIR se definen los indicadores que se utilizan para medir efectos, cumplimiento de metas, son 
los gestores de la información de resultados con los que se evaluaran los proyectos o programas. Un 
indicador en MML es una herramienta que indica, muestra, da indicios de algo. Por consiguiente, un 


indicador es un conjunto de variables que permitirá caracterizar, analizar, evaluar, medir los 
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avances hacia el cumplimiento de los objetivos de las actividades, componentes, efectos e impactos. 
Un indicador de resultados mide la eficiencia, eficacia, calidad e impacto social de los proyectos 
propuestos en términos de la gestión institucional. Cuando se habla de educación, de las políticas 
plantadas para la Gestión Escolar, que hoy en día se encuentra regida por el Proyecto Colmena y 


que se encuentran establecidos en el PEI. 


Los indicadores deben regirse a los ejes de: gestión (administración, flexibilidad y 
contextualización), Convivencia (participación, socioemocional, vinculación e inclusión), Pedagógico 
(curricular, socioambiental y ciudadanía digital) y Seguridad y Salud (protección integral, riesgos, 
salud y seguridad). Cabe recalcar que en educación hay indicadores específicos que miden las 
características, comportamientos y fenómenos a lo largo del proceso de enseñanza aprendizaje, son 
cuantificables, siendo a la vez recursos que permiten establecer las oportunidades y desarrollo de 


las áreas, siempre orientados a la calidad educativa. 


Entre estos indicadores están los de desempeño y los de aprendizaje. Los indicadores de desempeño 
se encuentran aquellos que miden y monitorean el rendimiento: rendimiento académico, desempeño 
escolar, desempeño docente, indicadores de aprendizaje. Entre estos indicadores se encuentran los 
de mediación pedagógica, de habilidades de aprendizaje, estrategias didácticas, estrategias de 
evaluación y actitudes docentes. Mientras que los indicadores de aprendizaje se refieren a la 
responsabilidad de los estudiantes, entre estos están la tasa de promoción efectiva, de repitencia, 


abandono interanual, sobreedad. 


Para la MML, los indicadores se trabajarán bajo los siguientes parámetros: 


e Medidas cualitativas y cuantitativas de las variables del proyecto. 
e Medidas que describen los resultados esperados. 
e Medidas que describen el nivel de cumplimiento de los resultados, que sirven para el monitoreo 


y evaluación. 


La definición correcta de los indicadores permitirá conocer el nivel de cumplimiento, problemas que 
se presentaron durante la ejecución, en otras palabras, el impacto final desde lo operativo hasta lo 


estratégico. 


Los atributos des los indicadores son: 
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e Claridad: preciso y demostrable. 

e Relevancia: refleja la importancia del logro del objetivo. 

e Economía: costo de los componentes y actividades. 

e Monitoreable: deben ser verificables de forma independiente. 

e Adecuado: debe aportar la base y la información para evaluar el proyecto. 

e Aportación Marginal: Si existen mas de un indicador para un desempeño, deberá proporcionar 


datos comparativos. 


Otros atributos que tienen los objetivos es que puedan ser actualizables, sean confiables, 


congruentes, documentados e imparciales. 


Tipos de indicadores y sus dimensiones. 


Existe cuatro dimensiones que deben cumplir los indicadores: 


e Eficacia: mide el nivel de cumplimiento de los objetivos y resultados. Está representado por la 
variación porcentual, los niveles de cumplimiento de los componentes medido en porcentajes, 
tasas de variación, entre otros. 

e Eficiencia: se relaciona con el uso de los recursos, por ejemplo: costos de productos y/o 
servicios, costos operativos, costos de cumplimiento de actividades. 

e Calidad: mide la disposición de bienes y/o servicios, la capacidad de respuesta en relación con 
las necesidades y expectativas de los beneficiaros. 

e° Economía: establece la adecuada administración de los recursos utilizados para los bienes y/o 
servicios, es decir, la capacidad de organización para movilizar, generar, recuperar los 


recursos financieros. 


Los indicadores también se clasifican por su tipo de medición: 


e Indicadores estratégicos: miden los impactos, están planteados de acuerdo con la visión del 
proyecto, mide la solución que cambio, los procesos, las actividades, los insumos, miden la 


gestión cotidiana. Son de corto plazo, programables. 
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Ejemplo: 


55 62 
estudiantes estudiantes 
Tasa de matriculados matriculados 
variación Estudiantes que repiten en el último en el último 
anual de el último año de año de año de 28.6% 
nivel de bachillerato/Estudiantes bachillerato bachillerato sume be 
repitencia que se matriculan en el 5 7 regitencia 
en el último último año de estudiantes estudiantes 
año de bachillerato que repiten que repiten 
bachillerato el último el último 
año de año de 
bachillerato bachillerato 
62 
estudiantes 
matriculados 
. Cantidad de estudiantes ,, en el último 
Porcentaje Ñ ; 9% # 
migrantes matriculados . año de 
de PER F estudiantes . 
i en el último año de : bachillerato, ë 
estudiante . migrantes 11.29% 
. bachillerato/ 3 7 ; 
migrantes š ! repiten el ; Estudiantes 
Yr Estudiantes migrantes m. A estudiantes . 
en último : último año : que repiten 
año dé que se matriculan en el q migrantes 
. último año de I matriculados 
bachillerato . bachillerato : 
bachillerato repiten en el 
último año 
de 
bachillerato 


Estos indicadores permiten una planificación de metas que se debe cumplir con la implementación 
del proyecto o programa. Se encuentra el nivel de base del indicador para establecer el nivel de 
mejoría, de esta manera se encuentra el nivel deseado de desempaño del indicador en un tiempo 


conocido también como meta de desempeño. 


Para definir la efectividad del indicador se hace una relación de los 3 elementos citados y se trabaja 


los valores modernizando la línea base. A continuación, se explica a través de un ejemplo: 


Meta 


Indicador 
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Disminuir el nivel repitencia de los 
estudiantes matriculados en el 
último año de bachillerato 


Porcentaje 
de 
disminución 
del nivel 
repitencia de 
los 
estudiantes 
matriculados 
en el último 
año de 
bachillerato 
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62 
estudiantes 
matriculados 
en el último 
año de 
bachillerato 
en el año 
2024 de los 
cuales 

7 estudiantes 
que repiten 
el último año 
de 
bachillerato 
en el año 
2024, un 
11.29% 
repiten. 


Entre 
septiembre 
2023 y sept. 
2024 ha 
aumentado 
un 2.29%, al 
mejorar la 
calidad, se 
prevé que 
solo el 4.9% 
de los 
estudiantes 
matriculados 
repitan en 
septiembre 
de 2025. 
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3. Diseño de la Matriz de Indicadores de Resultados (MIR) 


Proyecto en Marco Lógico 


Indicar el nombre del proyecto 
Indicar al eje del Proyecto Colmena pertenece 

Indicar el área institucional que está a cargo del proyecto 
Especificar prioridades en relación con el eje 

Objetivo general del proyecto 


Nivel de repitencia Descripción, tipo de Identificación del 1.1 (número del 
(Escribir el nombre del indicador indicador indicador) 
indicador) 

Dimensión para medir Eficiencia Definición El indicador mide la 


eficiencia de las 
estrategias para 
disminuir el nivel de 
repitencia en los 
estudiantes de 
bachillerato de 
último año 
Método (Cantidad de estudiantes Unidad de medida Porcentaje 

matriculados en el último 

año de bachillerato que 

repiten/ Estudiantes 

matriculados en el último 

año de bachillerato) x100 


Desagregación Nombre de la institución, Frecuencia Anual 
geográfica especificaciones técnicas 


* Continuar la matriz con los siguientes indicadores. 


Claridad Relevancia Economia Monitoreable Adecuado Aporte 
Margina 

SI SI NO SI SI SI 

Justificación de las características El indicador informa de forma clara y relevante 


el porcentaje de disminución de repitencia de 
los estudiantes que cursan el último año de 
bachillerato. 
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Serie de información disponible 


Responsable del indicador 


Existe una línea base que cuantifica que, en el 
2023, el 9% de estudiantes que cursan el 
último año de bachillerato repitieron, mientras 
que en el 2024 ha aumentado el porcentaje en 
2.29% 


Dirección general de la institución 


* Si un indicador no tiene las 5 características debe reformularse el indicador. La económica es el 


único indicador que puede estar en estado negativo (NO). 


** Continuar con 1 matriz por indicador. 


Línea base, valor y fecha 


Meta y periodo de cumplimiento 


Valor Año Periodo Valor 2025 (año) 
9% 2022 2022-2023 Periodo de cumplimiento 5% 

11.29 2023 2023-2024 

Comportamiento del indicador hacia la meta Verde Amarillo Rojo 
Factibilidad La meta es factible si se Debido a que se 


cumple las condiciones de 
capacitación docente y 
tutorías guiadas a 
estudiantes con problemas 
de rendimiento académico 


* Continuar con 1 matriz por indicador. 


ha observado 
aumento en los 2 
años anteriores 
si no se tiene en 
cuenta las 
estrategias 
puede darnos un 
nivel negativo, 
un aumento 
mínimo de 3% 
manejando las 
compartidas de 
los 2 últimos 
años lectivos 


Para continuar con la siguiente matriz debe estar bien claro el objetivo del proyecto, en el caso del 


ejemplo sobre nivel de repitencia. El objetivo general es “Diseñar un proyecto de mejoramiento del 


nivel de rendimiento académico y disminuir el nivel de repitencia académico en los estudiantes de 


bachillerato de la Institución AAA ubicado en el Cantón Quito. Periodo 2023-2024” 
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Nombre Descripción 


El rendimiento académico hace referencia a la evaluación 
del conocimiento adquirido en el ámbito escolar, terciario o 
universitario. 
Un estudiante con buen rendimiento académico es aquel 
que obtiene calificaciones positivas en los exámenes que 
debe rendir a lo largo de una cursada. 
El rendimiento académico es una medida de las capacidades 
del estudiante, que expresa lo que este ha aprendido a lo largo 
del proceso formativo. También supone su capacidad para 
responder a los estímulos educativos, se encuentra vinculado a 
la aptitud. 
Por otra parte, el rendimiento académico puede estar asociado 
a la subjetividad del docente cuando corrige. Ciertas materias, 
en especial aquellas que pertenecen a las ciencias sociales, 
pueden generar distintas interpretaciones o explicaciones, que 
Nivel de rendimiento el profesor debe saber analizar en la corrección para 
determinar si el estudiante ha comprendido o no los conceptos. 


Dimensiones 


Habilidades cognitivas: se refieren a los conocimientos 
adquiridos por el estudiante. Incluyen la comprensión de 
conceptos, habilidades de resolución de problemas y capacidad 
para aplicar lo aprendido. 

Motivación: es la voluntad de aprender, el interés en las 
materias y la persistencia ante los desafíos. 

Personalidad: Las características personales influyen en el 
nivel académico. Factores como la autoestima, 

la autoeficacia y la resiliencia afectan la capacidad del 
estudiante para enfrentar los obstáculos educativos. 

Género: el género puede influir en el rendimiento debido a las 
expectativas sociales y formas de enseñanza por género. 


Listado de notas 
Fuentes de verificación Diario del docente 

Planificación micro curricular de aula 
Desegregación geográfica Local, en la institución. Últimos niveles de bachillerato. 
Frecuencia Anual 


Recepción de listados de notas, resúmenes del diario y 


Método de recopilación es 
p planificaciones docentes 


Fecha de registros Año lectivo 2023-2024 
Nombre Descripción 
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Nivel de repitencia 


Fuentes de verificación 


Desegregación geográfica 
Frecuencia 
Método de recopilación 


Fecha de registros 


La repitencia es la situación que se produce cuando un 
estudiante no es promovido al grado siguiente, por lo que 
debe repetir aquel que estaba cursando (RAE, 2024). 

La causa principal de la repitencia puede ser por bajas 
calificaciones que llevan a no aprobar las asignaturas o el año 
escolar, lo que está relacionado directamente con la deserción 
escolar muchas veces la baja de notas es la puerta a la 
deserción. 

La deserción tiene asociada otros factores como adaptabilidad, 
problemas familiares, problemas económicos, entre otros. 


Dimensiones 


La repitencia puede presentarse con las siguientes 
dimensiones: 

Desempeño académico: cuando un estudiante tiene 
dificultades para alcanzar los niveles de aprendizaje 
esperados, 

Falta de comprensión de los contenidos: Si el estudiante 
no asimila de manera adecuada los conceptos claves 
Problemas de adaptación social o emocional: Dificultades 
en la interacción con compañeros o profesores. 

Ausentismo escolar: cuando un estudiante asiste de 
irregularmente puede verse afectado en el progreso académico 
y convertirse en un riesgo de repetición. 

Niveles socioeconómicos bajos: Los estudiantes de entornos 
desfavorecidos pueden enfrentarse a una serie de obstáculos 
que acrecenté la tasa de repetición. 

Falta de apoyo familiar: La falta de apoyo en casa influye 
directamente en el desempeño escolar. 

Problemas de salud o condiciones especiales: Condiciones 
médicas o necesidades educativas especiales o problemas 
personales (embarazo) pueden afectar el avance académico. 


Listado de estudiantes matriculados 

Listados de asistencia 

Ficha de estudiantes con problemas 

Listado de estudiantes que repiten el nivel 

Planificación docente para reforzar conocimientos 

Local, en la institución. Últimos niveles de bachillerato. 
Anual 

Recepción de listados de notas y planificaciones docentes 
Año lectivo 2023-2024 


Medios de verificación (MV) 


Los medios de verificación son las fuentes de información de donde se obtendrán los datos para la 


medición de los indicadores que están en la ficha técnica del indicador. Debe contener la definición, 
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la valoración, el piloteo y el análisis. Su existencia debe ser de carácter institucional, con 
información veraz, oportuna, periódica y de circulación. En el caso de no existir, uno de los trabajos 
del investigador es ayudar a la institución a genera este tipo de información con los datos que 


existentes o levantar datos y generar estos reportes. 


Esta información se la obtiene de estadísticas, material publicado, inspección visual, encuestas, 
informes, registros que cumplan con las reglas de ser claros, relevantes, económicos (si fuera 


necesario), monitoreables y adecuados. 


Pasos para establecer los medios de verificación 


3. Establecer los 

1. Definir las fuentes de 2. Definir los métodos responsables de 
informaciómn de recopilación recopilar la 
información 


6. Establecer la 5. Definir las 4. Establecr los 


aplicaión de la frecuencias para la métodos de análisis de 
información obtención de datos la información 


7. Definir los formatos 
de diseminación de 
información (informes, 
escritos, tablas, 
talleres, entre otros) 


8. Establecer los 
mecanismos de 
cirulación de 
información 


Pasos para establecer los medios de verificación 


Los supuestos 


En la MML los supuestos son factores externos que se deben tener en cuenta para complementar el 


Resumen Narrativo, que no se encuentran bajo el control del proyecto, que no puede garantizarse su 
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cumplimiento, pero son un riesgo si no se cumplen. Para evitar que un supuesto afecta al grado de 
finalizar la intervención, se debe diseñar otros componentes que permitan su ejecución, aun cuando 
sea parcial, del proyecto. Estos supuestos identifican factores externos, verifican sus condiciones y 


analizan la relación causal entre objetivos, es decir la relación vertical de la MIR. 


Ejemplo de afectación en la MIR: 


e Nivel de Actividades: podria llegar o no llegar el permiso de los padres de familia para realizar 
entrevistas a los estudiantes que se encuentran con riesgos de repitencia o que tengan bajo 
nivel académico. 

e Nivel de componente: Los padres de familia podrían mandar un comunicado al Distrito a forma 
de queja sobre la manera que se está trabajando con la información al considerar que afectan a 
los estudiantes. 

e Nivel propósito: Podría haber cambios en relación con los ejes y componentes del Proyecto 


Colmena que dejara inoperable el proyecto 


Para verificar la condición de los supuestos hay que informarse sobre factores externos que afecte al 
proyecto en cada uno de sus componentes. Su narración debe ser de manera positiva, en forma de 
objetivo. Al tener implícitos los supuestos, los indicadores de resultados deberán primero ver si la 


condición del supuesto se cumplió para evaluar los logros de resultados. 
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Pasos para definir los supuestos de la MIR 


SI 


SI 


PROBABLE 


SUPUESTO 


POCO 


NO INCLUIR | @—— 
PROBABLE 


¿Se puede rediseñar el 
proyecto? 


Pasos para establecer los supuestos 


Valoración de la lógica horizontal de la MML 


Una vez concluida la etapa de definición de los componentes de la MIR, se establece las siguientes 


pertinencias 
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Indicadores Medios de Supuestos 
Verificación 


Los medios de 
verificación 
identificados son 


los necesarios y 


suficientes para 
obtener los 
datos requeridos 
por los 
indicadores 


Se cumplen los supuestos 


— E 


ACTIVIDADES 


Factores externos 
(se logra) 


Lógica horizontal de la MIR 
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Matriz de Marco Lógico 


Al hablar de la estructura de un proyecto en Marco lógico hay que tener claro los objetivos, tanto el 
general como los específicos, los resultados y las actividades, todos los elementos salen del árbol de 


objetivos o medios-fines. 


Disminución del nivel de repitencia de los estudiantes de último año de bachillerato 


+ 


ra rice 
ñ A Mejoramiento en 
Objetivos eer Mejoramiento de - «e 
específicos Capacitación docente Convivencia Jn ` alos 
mu 
100% de docentes 100 a Código E 100% = ñ 
I convivencia mejorado a mejoramiento en las 
Resultados capacitados en nuevas ; ficaci 
metodologías las necesidades de la planificaciones de los 
comunidad educativa docentes 
Talleres de formación 
an docente en Capacitacion e Listas de docentes que 
OS metodologías docente aprueban el taller 
disruptivas 
. 
Talleres de planificación ke e Taller de acompañamiento 
centrada en el — para la planificación de 
estudiante actividades en el aula 
e Revisión de los nuevos 
Reforma del Código de Reforma parámetros de convivencia 
convivencia escolar establecidos en el Proyecto 


Colmena 


Matriz de Marco Lógico o Indicadores de Resultados 


A continuación, se explica el modelo más utilizado de la MIR, que permite presentar de forma 
resumida los aspectos más relevantes del proyecto, así como la diferenciación de las distintas etapas 


de la matriz: 


Resumen Indicadores Medios de Verificación Supuestos 


Narrativo 


Propósito 
Componentes 
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Actividades 
(cronograma 


Todos los datos antes obtenidos se trasladarán a la matriz de manera que: 


e Indicadores: son la meta que se quiere lograr con el proyecto, se los expone generalmente en 
porcentajes. 

e Medios de verificación: evidencias físicas con la que se espera comprobar el cumplimiento del 
estudio. Estos pueden ser estudios posteriores, archivos físicos y/o digitales, plantillas, 
informes, entre otros. 

e Supuestos: Se refiere a condiciones externas al proyecto, no son manejables, sin embargo, 


pueden hacer que el proyecto no se cumpla o se cumpla a un cierto porcentaje. 
A continuación, podrá leer la matriz de indicadores de resultados o matriz de marco lógico del 


pequeño proyecto para disminuir el nivel de repitencia de los estudiantes de último año de 


bachillerato: 
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Disminución del nivel de repitencia de los estudiantes de último año de bachillerato 


Mejoramiento en 
motivaciones a los 
estudiantes 


Mejoramiento de 


Capacitación docente P k 
Convivencia 


“Y 
100% de docentes TAS Codigo = q h sad s 
. convivencia mejorado a 4 mejoramiento en las 
Resultados capacitados en nuevas M Acude 
¿ las necesidades de la planificaciones de los 
metodologías h . 
comunidad educativa Y docentes 
w 
Á. 

Talleres de formación y 
Actividad docente en Capacitación Listas de docentes que aprueban 

metodologías docente el taller 

disruptivas 

ww 
. 
Talleres de planificación — ` Sd Taller de acompañamiento para 
Capacitación rer a 
centrada en el la planificación de actividades en 
n docente 
estudiante w elaula 
Oo. 
Revision de los nuevos 
Reforma del Codigo de Reforma parametros de convivencia 
convivencia escolar establecidos en el Proyecto 
Colmena 


ey 


Matriz de Indicadores 
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4, Presentación del proyecto en MML 


1. Estudio técnico del proyecto: 


¿Qué bienes y/o servicios propone el proyecto? 


¿Qué se espera cambiar? 


¿Dónde y cuándo se pretende aplicar la intervención? 


¿Qué estrategias se utilizarán para implementarán para la intervención? 


e ¿Qué recursos van a utilizar? 


En este punto se proyecta la línea de base o cómo se conoce en proyectos educativos la 
contextualización y el diagnóstico, siempre utilizando porcentajes comparativos de situaciones 


anteriores. También se conceptualiza las variables, se caracteriza las dimensiones. 


2. Estudio financiero 


A partir de esta línea de base, se generan los criterios, es decir se hace proyecciones en todo ámbito, 
incluido los financieros en caso de buscar rentabilidad. Se analiza las políticas públicas e 
institucionales que nos amparen jurídicamente a realizar el proyecto. Finalmente se prepara la 
estimación de gastos de inversión y operación, ingresos de capital, de operación o no operación y en 


caso de ser necesario las necesidades de financiamiento. 


Se pretende establecer los recursos necesarios que se requieren para la ejecución de todas las fases 
del proyecto: diagnóstico, planificación, ejecución y evaluación. Esto permite establecer la inversión 
inicial, conocer si es conveniente o se requiere hacer cambios por no encontrar financiamiento u 


otras condiciones, se plantea el riesgo y se ajusta el proyecto. 


Se debe explicar cómo se obtendrá el presupuesto para cada una de las actividades, si son parte del 
sueldo del docente, se expondrá esas especificaciones, si cuenta por parte de una institución externa 
se describirá en qué consiste la alianza, que rubros se hace cargo, como sucede en el ejemplo 


expuesto. 


3. Matriz de Indicadores de Resultados 


Nivel Resumen Narrativo Indicadores Medios de Supuestos 
Verificación 
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Objetivo General 
(Fin) 


OG. Disminución del nivel de 
repitencia de los estudiantes de 
último año de bachillerato 


5% de disminución de 


nivel de repitencia 


100% de docentes 


No de estudiantes 
aprobados/no. De 
estudiantes 
matriculados 


No docentes que 


Cambio en los 
parámetros de 
aprobación del 
nivel 


OE1.Diseñar un plan de ban l l ban/N Presupuesto 
Capacitación docente en aprueban los talleres- aprue an/No para la 
ere I de metodologías docentes que a: 
metodologias disruptivas ; : : capacitación 
disruptivas asisten 


Los estudiantes 
están dispuestos 
a aceptar los 
cambios en la 
planificación de 
clases 

Los docentes 
aceptan las 
condiciones para 
mejorar sus 
planificaciones 


Informe de notas 
Informe docente 
de participación 
Entrevistas con 
estudiantes 
Participación 
docente en talleres 
de planificación 


100% de estudiantes 
OE2.Establecer estrategias docentes motivados 
para el mejoramiento en 100% planificaciones 
motivaciones a los estudiantes mejoradas para lograr 


Objetivos específicos (Propósitos) mayor motivación 


Se aprueba el 
trabajo de una 


OE3.Mejorar el código de 100% código comisión 
conviveréia de la institucion mejorado para finales Código mejorado  interdisciplinari 
` del año lectivo a para trabajar 
el código de 
convivencia 
No. Docentes Todos los 
ð : : 
Resultados esperados (Componentes) C1. Capacitación docente 00 dd capacitados/No O 
capacitados docentes de la a las 
institución capacitaciones 
No. De 
100% de planificaciones Todos los 
C2. Planificacionas decentes planificaciones adaptadas y docentes 
i adaptadas y mejoras/No. De adaptan sus 
mejoradas planificaciones planificaciones 
docentes 
Se forma un 
equipo 


100% de código 


mejorado y adaptado Código adaptado y multidisciplinari 


C3. Código de convivencia 


mejorado o para trabajar 
al Proyecto Colmena en el Código de 
Convivencia 
Actividades Tiempo Recursos Cantidad Valor . Valor Total 
(cronograma y presupuesto) unitario 
be ee 7 Personal Experto a USD 
E TE wna uqasa en metodologías 2 mees través de 2 500,00 a 00 
p alianza con Universidad mensual ” —” 
eg 22 Pe Personal Experto a USD 
Porra sobre planificación mes través de 1 500,00 ae és 
alianza con Universidad mensual ~~’ 
as : ` ; ; USD USD 
2.1. Adaptación de planificaciones 15 días Docentes de área 5 750,00 3.750,00 
z ez mm °, ; A USD USD 
2.2. Revisión planificaciones 15 días Docentes de área 5 750,00 3.750,00 
Pee > š š Equipo USD USD 
3.1. Diseño de código de convivencia 6 meses multidisciplinario 5 1.500,00 45.000,00 
Socialización del código de Lines Equipo 5 USD USD 
convivencia multidisciplinario 1.500,00 7.500,00 
2 e USD 
Total actividades 63000,00 


Existen casos en que la MIR deba ser mayormente explicada, en esta situación esta matriz constará 


de los siguientes elementos: 


Medios de 


Resumen A Fórm Línea Meta del 
Indicadores z a 
Verificacion 


Narrativo ula base indicador 


Supuestos 
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Objetivo 
General 
(Fin) 


Objetivos 
especificos 
(Propósitos) 


Resultados 
esperados 
(Componentes) 


Actividades 
(cronograma y Tiempo Recursos Cantidad Valor unitario 
presupuesto) 


Valor 
Total 


Total actividades 
En la fórmula se coloca la explicación de la medición del indicador, por ejemplo: 
e Indicador: Porcentaje de docentes capacitados 


e Fórmula: docentes capacitados/planta docente. 


e Línea base se coloca cuantos docentes han sido capacitados en metodologías disruptivas 


Meta del indicador: cuantos se desean que se capaciten. 


En la primera matriz, en el Indicador se coloca la fórmula y la meta, no se indica la línea base. 


Para finaliza: 
e Finalizadas todas las matrices se hace una explicación descriptiva corta del proyecto 
justificando su realización para solventar la problemática 


e Se coloca un resumen ejecutivo con los principales hitos del proyecto que sean atractivos para 


su aprobación y/o para la consecución de fondos 
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Recuerda 


La metodología de marco lógico (MML) se la utiliza para la presentación de proyectos a 
instancias públicas y para la cooperación internacional, no obstante, existen instituciones que 
solicitan los proyectos en MML por la facilidad de seguimiento. 

Todo proyecto tiene un ciclo de vida: diagnóstico, diseño, implementación, ejecución y 
Evaluación. Es importante conocer en que parte del ciclo nos hallamos para hacer un 
seguimiento efectivo. 

Las fases de la MML son la identificación de problema, la construcción de un modelo sistémico 
y el diseño del instrumento gerencia conocido como la matriz de Indicadores de resultados 
(MIR). 

El diagnóstico identifica la problemática, determina su dimensión y delimita la población que se 
ve afectada por el problema em cuestión. Permite establecer la situación real para llegar a una 
situación deseada. 

Los actores involucrados son todas las personas, instituciones, grupos que se relacionan con la 
institución de manera directa o indirecta que tengan intereses con la problemática que estamos 
solucionando. 

El árbol de problemas plantea una relación entre las causas y los efectos que genera la 
problemática, cuando se lo traslada a la situación positiva se convierte en el de fines y medios 
que ayudan a establecer los objetivos. 

La presentación del proyecto debe contener de manera inicial la línea base que está construida 
por la contextualización, la problemática con datos estadísticos, la justificación, el marco 
teórico que aportan a las construcciones de las matrices de indicadores y sobre todo para 


poder establecer una lógica vertical y horizontal de los componentes de la MIR. 
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Introducción 


En esta unida se abordará el concepto, las características, las metodologías de la gestión de 
proyectos. Para finalizar se comprenderá la lógica del software de gestión de proyectos. Se realizará 


un abordaje práctico del software de gestión de proyectos. 


1/15 


Resultados de aprendizaje 
e Reconocer las características de la metodología de la gestión de proyectos. 


e Establecer las diferencias de la gestión de proyectos tradicional vs la gestión de proyectos 


Agile 
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[UDI15352Z] Gestión de proyectos Educativos 


Mapa Conceptual 


Introducción a la Gestión de 
Proyectos Educativos 


Metodologías de |= gestión de 
proyectos 


Gestión de proyectos 
Educativos 


Microsoft Project: Concepto y 
Características 


Agile Project Management: 
Concepto y Características 
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1. Introducción a la gestión de proyectos educativos 


Sáez Martínez (2013) afirma que la gestión de proyectos es la organización de procesos, 
herramientas, miembros del equipo y habilidades de un grupo multidisciplinario para que puedas 


diseñar un proyecto que cumpla con las necesidades y expectativas de los beneficiarios. 


La gestión de proyectos es el conjunto de metodologías para planificar y dirigir las tareas y recursos 
de un proyecto, mismo que comprende operaciones diseñadas para lograr los objetivos específicos 


que deben ser medibles, alcanzables, relevantes y temporales (SMART, por sus siglas en inglés). 


Los objetivos de la gestión de proyectos son: 


e Gestionar el inicio y la evolución de un proyecto. 
e Responder ante problemas que surjan durante un proyecto. 
e Controlar las acciones del proyecto. 


e Facilitar la finalización y aprobación del proyecto. 


Este enfoque metódico, orienta en la estimación, administración y cumplimiento de los objetivos 
específicos para la realización de tareas dentro de la institución. Son independientes de la actividad 
diaria de la institución, pueden expresarse en: resultados (como la creación de una nueva jornada); 
consecuencias (como afectaría la reubicación docente a otra jornada); beneficios (reducción de 
costos de las instalaciones) u objetivos estratégicos (como duplicar el rendimiento institucional en 


tres años). 


Se debe tomar en cuenta 3 variables que sirven para asegurar la calidad del proyecto: 
e el tiempo 


e el costo 


e el alcance. 


Estas tres variables juntas forman el Triángulo de calidad (también conocido como el triángulo de 


hierro) 
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Triángulo de Calidad 


Calidad 


Triángulo de Calidad 


e La variable alcance detalla todos los requisitos, pasos y tareas del desarrollo del proyecto. 

e La variable tiempo es una variable no controlable, por lo que es un desafío utilizar el tiempo de 
manera eficiente, manteniendo el proyecto dentro del cronograma y alcanzando los objetivos 
deseados. 


e La variable costo se centra en presupuesto establecido al inicio del proyecto. 


Las tres variables están interconectadas y dependen la una de la otra. Cuanto más grande sea el 


alcance del proyecto, más tiempo necesitará y mayor costo tendrá. 
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2. Metodologías de la gestión de proyectos 


Existen varias metodologías para gestionar proyectos, cada una con un conjunto de reglas, 
principios y procesos para gestionarlos. Aun cuando las metodologías pueden parecer tradicionales, 
hoy en día es fácil innovar fusionando varias metodologías para crear una que se ajuste a las 


necesidades de la Institución. A continuación, se explicarán las más utilizadas. 


Gestión de proyectos en cascada 


El modelo de cascada es una metodología que divide al proyecto en distintas fases secuenciales, no 
se puede seguir sin haber completado la anterior. Winston W. Royce en 1970 presentó un artículo 
sobre el desarrollo de software de gestión de proyectos para la fabricación y la construcción. Su 


proceso implica: 


e Secuencialidad: No se puede retroceder a una fase anterior una vez que se ha completado. 


Planificación fundamental: La calidad del trabajo inicial es crucial, ya que define en gran 
medida el resultado final. 
e Requisitos claros: Se requiere una visión clara del producto final desde el principio. 


e Secuencia predeterminada: Cada fase debe completarse siguiendo un orden específico. 


Cuando hablamos de utilizar un modelo tradicional, se habla del modelo de cascada porque se 
trabaja con proyectos de desarrollo sistémicos. No es tan flexible como las metodologías Agile, es 
ampliamente utilizado por la facilidad de ejecución. Los gerentes de proyectos suelen emplear al 


método de cascada cuando: 


e Hay una visión clara del bien o servicio que se brinda al final. 
e Cuando no pueden cambiar el alcance del proyecto una vez que ha comenzado. 


e Cuando el concepto y la definición son fundamentales para el éxito. 


En conclusión, se trata de un proyecto secuencial y lineal que se adapta porque tiene requisitos 


claramente definidos y que no pueden ser modificados. 
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Gestión de proyectos Agile 


La gestión de proyectos Agile es un enfoque iterativo, sustentado en la retroalimentación para 


elaborar proyectos de alta calidad. los aspectos clave son los siguientes: 


e Iterativo e incremental: En lugar de planificar todo el proyecto al principio, se divide en 
iteraciones más pequeñas llamadas sprints. Cada sprint produce un entregable funcional. 

e° Retroalimentación constante: Los equipos trabajan estrechamente con los stakeholders 
(públicos, audiencias) y los beneficiarios para recibir retroalimentación continua. Esto permite 
ajustes y mejoras a lo largo del proyecto. 

e Flexibilidad y adaptabilidad: Agile se adapta a los cambios. Si surgen nuevos requisitos o 
prioridades, el equipo puede ajustar su enfoque sin problemas. 

e Colaboración activa: Los miembros del equipo colaboran intensamente y se comunican de 
manera efectiva. La colaboración es clave para el éxito. 

e° Entrega temprana y frecuente: En lugar de esperar hasta el final del proyecto, Agile busca 
entregar partes funcionales lo antes posible. Esto permite obtener valor rápidamente y ajustar 


según sea necesario. 


Principales metodologías Agile: 


e Scrum: Utiliza sprints para desarrollar incrementos de producto. Roles clave: Scrum Master, 
Product Owner y Equipo de Desarrollo. 

e Kanban: Visualiza el flujo de trabajo y limita el trabajo en progreso. Ideal para proyectos con 
demanda variable. 

e° Extreme Programming (XP): Se centra en la calidad del código, las pruebas y la 
colaboración. Promueve prácticas como la programación en parejas y las pruebas 


automatizadas. 


Herramientas populares para la gestión ágil de proyectos: 


e Jira: Desarrollado por Atlassian, es una herramienta ampliamente utilizada para la gestión ágil 


de proyectos. Permite crear tableros, priorizar sprints y hacer un seguimiento de tareas1. 
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e Trello: es una herramienta visual que utiliza tarjetas y tableros para organizar tareas. Es ideal 
para equipos pequeños y proyectos más simples. 

e Asana: Asana es una plataforma versátil que combina la gestión de tareas con la colaboración 
en equipo. Permite crear flujos de trabajo personalizados y seguir el progreso del proyecto. 

e OpenProject: es una herramienta de código abierto que admite metodologías ágiles como 
Kanban o Scrum. Permite crear tableros, estimar tareas y hacer un seguimiento del progreso2. 

e Basecamp: se centra en la comunicación y colaboración. Ofrece herramientas para compartir 
archivos, mensajes y tareas. 

e Monday.com: Monday.com es una plataforma flexible que permite personalizar flujos de 


trabajo y colaborar en tiempo real. 


Beneficios de la gestión ágil de proyectos: 


e Entregas frecuentes: Los equipos entregan partes funcionales del proyecto de manera 


continua. 


Adaptabilidad: Pueden ajustarse rápidamente a los cambios y prioridades. 

e Colaboración efectiva: La comunicación y la colaboración son fundamentales. 

e En resumen, esta metodología permite adaptarse de forma rápida a los cambios y entregar de 
manera continua resultados lo que conlleva a mantenerse alineados continuamente a las 


necesidades cambiantes de los beneficiarios y los planificadores. 


Gestión de proyectos Lean 


Esta metodología es una metodología agile o ágil, busca aumentar la producción y el valor al tiempo 
que reducen los residuos. Se analiza el flujo con detalle para identifica y eliminar el trabajo o 
procesos que no aportan al valor del proyecto, en otras palabras, se agiliza, se optimiza y se vuelve 


más eficiente, 


La gestión de proyectos Lean se origina en el Sistema de Producción Toyota (TPS), desarrollado por 
ingenieros japoneses de Toyota entre 1948 y 1975. El TPS se utilizó para mejorar la fabricación, 
fortalecer las relaciones con proveedores y clientes, y eliminar los “desperdicios” en el procesol. A 


continuación, presento los principios clave de la gestión de proyectos Lean: 
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e Eliminación de desperdicios: Se centra en la reducción o eliminación de cualquier actividad, 
recurso o proceso que no agregue valor al servicio o producto. Estos desperdicios o residuos 
incluyen: tiempos de espera, exceso de inventario, movimientos innecesarios, defectos, 
burocracia y más. 

e Entrega de valor: El propósito principal es proveer mayor valor al cliente de una forma 
eficiente. Cada etapa del proyecto debe ayudar directamente al resultado final deseado. 

e Enfoque en el cliente: Se comprende de mejor manera las necesidades y expectativas de los 
beneficiarios. Es una guía las decisiones y prioridades a lo largo de todo el proyecto. 

e Mejora continua: Se busca constantemente oportunidades para optimizar procesos y reducir 
ineficiencias. La retroalimentación y la adaptación son fundamentales. 

e Colaboración y empoderamiento: Se fomenta la colaboración entre los miembros del equipo y 


se les da la autonomía para tomar decisiones. La comunicación fluida es esencial. 


Beneficios de la gestión de proyectos Lean: 


e Mayor eficiencia: Al eliminar los desperdicios, los proyectos avanzan más rápido y con menos 
recursos. 

e Mayor calidad: La atención al valor y la mejora continua conducen a resultados más sólidos. 

e Mayor satisfacción del cliente: Al centrarse en las necesidades del cliente, se logra una mayor 


satisfacción y lealtad. 


En conclusión, la gestión de proyectos Lean es una forma ágil y efectiva de abordar proyectos al 


reducir ineficiencias y mantener un enfoque constante en el valor para el beneficiario. 


Etapas del proceso de gestión de proyectos 


La base de la teoría de gestión de proyectos se enfoca en proporcionar una herramienta para 
garantizar el éxito de cualquier proyecto. La premisa principal es que cualquier proyecto puede 
completarse de manera efectiva si se sigue un proceso bien definido. A continuación, se enumerarán 


las etapas más importantes, que ya se explicaron ampliamente en la unidad 1. 


e Inicio: Identificación del problema u oportunidad, se establecen los objetivos del proyecto, se 
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concreta el alcance y se fijan los recursos necesarios. 

e Planificación: Desarrollo del plan de proyecto detallado, incluye un cronograma, presupuesto y 
lista de tareas. 

e Ejecución: Etapa en la que se lleva a cabo las tareas determinadas en el plan de proyecto. 

e Monitoreo y control: Controlar el progreso del proyecto y tomar medidas proactivas para 
fomentar su correcta evolución. 


e Cierre del proyecto: Evaluación del proyecto y socialización de los resultados. 


Miembros clave de un equipo de proyecto 


La identificación de las funciones y responsabilidades del equipo es importante a la hora de cumplir 


con los plazos del proyecto. Las posibles funciones del proyecto incluyen: 


Gestor del proyecto: persona que supervisa todo el proyecto y es responsable de su éxito. 

e Patrocinador del proyecto: gerente sénior que intermedia en el proyecto y trabaja en 
estrecha colaboración con el gestor del proyecto. 

+ Miembro del equipo: personas que trabajan activamente en las tareas del proyecto. 

e Proveedor: personas que proporcionan bienes o servicios para un proyecto. 


e Parte interesada: personas que tienen interés en el proyecto. Se pueden dividir en: 


e Parte interesada principal: las personas que realmente hacen el trabajo y participan de 
forma activa en el proyecto. 
e Parte interesada secundaria: personas que pueden acudir a las reuniones y desempeñar un 


pequeño papel, pero que no son los principales responsables del proyecto. 


e Parte interesada afectada: personas que están al tanto del proyecto, pero que no tienen un 
papel activo ni mucha influencia. 
e Cliente o Beneficiario: persona que recibe el proyecto final, si se trata de un proyecto 


enfocado al beneficiario en lugar de uno interno. 


Evaluar el software de gestión de proyectos 


Elegir el software adecuado para la de gestión de proyectos es un poco complejo. Para garantizar su 
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máximo aprovechamiento se recomienda que tenga las siguientes funciones 


Creación de calendario compartido para hacer un seguimiento de los hitos y plazos del 
proyecto 


e Compartición de archivos y documentos para facilitar el acceso y la colaboración. 


Creación de listas de tareas y asignar tareas a los miembros del equipo. 


Herramienta de seguimiento del progreso del proyecto y generar informes. 


e Comunicación entre los miembros del equipo y las partes interesadas de forma rápida y fácil. 


Cálculo de la estimación de la duración y el presupuesto del proyecto. 
e Autorización de comentarios de todos los miembros del equipo para proporcionar la 


retroalimentación. 


Elaboración de recordatorios y notificaciones automáticas. 


Configuración de plantillas de proyectos para agilizar su creación. 


e Administración de los recursos y las cargas de trabajo. 


Posibilidad de seguimiento de las incidencias y los riesgos. 


Gestión de las solicitudes de cambios. 


Creación de informes detallados. 


Supervisión del rendimiento del proyecto. 
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3. Microsoft Project: Concepto y Características 


Microsoft Project es un software de administración de proyectos que se caracteriza por su 
simplicidad y versatilidad. Los aspectos más importantes de esta herramienta se enumeran a 


continuación: 
1. Planificación y Seguimiento 


Microsoft Project permite planificar, gestionar, seguir y controlar cualquier tipo de proyecto dentro 
de los plazos establecidos. Ayuda a evitar retrasos, reduce el tiempo necesario para organizar tareas 


y beneficia la productividad1. 


2, Características Principales: 


e Simplicidad: Es fácil de usar y ofrece una interfaz intuitiva. 

e Eliminación de Desperdicios: Permite planificar proyectos de manera eficiente, evitando 
actividades innecesarias. 

e Flexibilidad: Incluso los proyectos complejos son más manejables al elegir métodos y 
herramientas personalizadas. 

° Integración con Microsoft Teams: Puedes combinar Project con Teams para colaborar, 


compartir archivos, chatear y realizar reuniones. 


3. Beneficios: 


e Colaboración Global: Trabaja con equipos en diferentes continentes y permite 
actualizaciones simultáneas de tareas. 

e Programación Dinámica: Planifica proyectos fácilmente basándote en el esfuerzo, la 
duración y los miembros del equipo asignados. 

e° Inteligencia Empresarial: Crea paneles interactivos para visualizar el estado general y 
explorar detalles de proyectos mediante Power BI. 

e Flexibilidad para Innovar: Personaliza experiencias móviles o de escritorio y crea flujos de 


trabajo automatizados1. 
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4. Agile Project Management: Concepto y Características 


Agile Project Management es un enfoque de gestión de proyectos que se basa en la flexibilidad, la 
colaboración y la entrega iterativa. Este software forma parte de la metodología de gestión ágil de 
proyectos, también conocida como Agile, misma que se utiliza para proyectos que requieren rapidez 
y flexibilidad de procesos. Su utilización es generalizada en los sectores donde hay cambios 
constantes o en proyectos altamente competitivos. La gestión tradicional de proyectos puede 
ocasionar retrasos en las fechas de implementación, aumentar costos, cargas de trabajo, entre otros 


problemas. Para evitar estas inconveniencias se utiliza este tipo de software. 


Características Principales del Agile Project Management: 


e° Enfoque Flexible: Las metodologías ágiles se basan en un enfoque flexible. Los equipos 
trabajan en pequeñas fases y se centran en actualizaciones concretas del producto. Luego, se 
prueba cada actualización según las necesidades de los beneficiarios. En lugar de centrarse en 
un único producto final que solo se lanza al final del proyecto, se divide el proyecto en partes 


manejables y se trabaja en ellas por separado. 


Iterativo e Incremental: El producto final de un proyecto ágil puede ser diferente al que se 
había previsto inicialmente. Sin embargo, durante los procesos de testeo, se sigue trabajando 
según los requerimientos del cliente. De esta forma, el producto final sigue respondiendo a sus 


necesidades. 


Metodologías Ágiles: Existen varias metodologías ágiles, como Scrum, Kanban, Lean y XP 
programming. Estas son especialmente adecuadas para sectores involucrados en contextos de 
cambio constante, proyectos complejos o situaciones de urgencia donde no se dispone del 


tiempo necesario para desarrollar el proyecto de forma convencional. 


Ventajas del Agile Project Management: 


e° Mejora de la Calidad del Producto: Retroalimentación continua permite realizar ajustes, se 
logra un producto de mayor calidad. 
e° Mayor Satisfacción del Cliente o Beneficiario: Se centra en las necesidades del cliente lo 


que lleva a facilitar actualizaciones funcionales, se aumenta la satisfacción. 
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e Mayor Motivación de los Trabajadores: La colaboración activa y la participación en 
decisiones motivan al equipo. 

e Trabajo Colaborativo: La comunicación fluida y la colaboración entre los miembros del 
equipo son fundamentales. 

e Uso de Métricas Relevantes: Se utilizan métricas específicas para medir el progreso y la 
eficiencia. 

e° Mayor Control y Capacidad de Predicción: La flexibilidad no impide el control y la 
capacidad de prever resultados. 

e Reducción de Riesgos: Al entregar partes funcionales de manera continua, se minimizan los 


riesgos. 
Se puede concluir que Agile Project Management es esencial para mantener la gestión de proyectos 


de manera ágil, de fácil adaptación a las necesidades cambiantes y entregar valor de manera 


eficiente. 
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Recuerda 


e La Gestión de proyectos permite organizar procesos por medio de herramientas digitales que 


se comparten con todos los miembros del equipo. 


Existen diferentes metodologías de gestión de proyectos la de cascada, la agile y la Lean. Cada 
una de etas metodologías son utilizadas de acuerdo con la meta y estructura del proyecto, unas 


más tradicionales otras más innovadoras- 


El software utilizado para la gestión de proyectos garantiza el trabajo colaborativo desde la 
presentación de calendarios, elaboración de recordatorios, compartición de archivos, pasando 
por la administración de recursos y logrando mantener la información continua e integral para 
la evaluación. 

e Dos de los softwares más utilizados son Microsoft Project y Agile Project Management, basados 
en la metodología Ágil. Estos softwares dependen de la complejidad del proyecto, el nivel de 


control entre otros. 
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Introducción 


En la primera unida se aborda el diseño de los proyectos educativos, que contribuyen al Proyecto 
Educativo Institucional en todos los niveles de Educación en Ecuador. Depende del nivel de 
educación se anclará desde Educación inicial hasta Bachillerato a la Ley Orgánica de Educación 
Intercultural y al Proyecto Colmena que trabaja en función de 4 ejes. Para educación de tercer y 
cuarto nivel, se trabaja bajo los criterios de la Ley Orgánica de Educación Superior, el Reglamento 
Académico, el Reglamento de Régimen de Carrera y Escalafón del Profesor e Investigador, el 
Reglamento de Régimen de Estudiantes y el Reglamento de Régimen Disciplinario. Además, existen 
reglamentos específicos relacionados con la acreditación, la evaluación interna y externa y el 


Aseguramiento de la Calidad Educativa. 
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Resultados de aprendizaje 


e Analizar los tipos de proyectos educativos institucionales. 
e Reconocer la importancia del proyecto educativo: sus elementos y Características. 
e Establecer las fases de la planificación de un proyecto educativo. 


e Caracterizar un proyecto educativo innovador y sus características. 
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[AFO028VXK] Diseño y evaluación de proyectos educativos 
[MOD024KG1] Diseño y evaluación de proyectos educativos 
[UDI15352X] Introducción a proyectos educativos 
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1. Los proyectos educativos 


Un proyecto es una idea, un plan o un programa que contiene un conjunto de acciones coordinadas 


para ser ejecutadas sobre la base de un objetivo que estable una determinada meta. 


Se debe reconocer que la educación trasciende las aulas y los programas de estudio, esta se 
encuentra en todos los sectores de la sociedad. Entonces al referirnos a “educativo” establecemos 


un vínculo con la educación que se desarrolla a partir del proceso enseñanza aprendizaje. 
1.1. Proyectos Institucionales 


1.1.1. Proyecto Educativo Institucional (PEI) 


Un Proyecto Educativo Institucional es un marco referencial de la institución porque se encuentra 
detallados la identidad, los objetivos, la organización del centro. La finalidad de este proyecto es 
responder a las necesidades y demandas de la institución, se lo elabora por y para la comunidad 
educativa. De acuerdo con el Artículo 88 del Reglamento General a la Ley Orgánica de Educación 
Intercultural (RGLOEI), “el PEI es “el documento público de planificación estratégica institucional 
en el que constan acciones estratégicas a mediano y largo plazo, dirigidas a asegurar la calidad de 
los aprendizajes estudiantiles y una vinculación propositiva con el entorno escolar (Ministerio de 


Educación del Ecuador, 2020, p.9). 


El PEI articula la práctica institucional a través de las siguientes acciones: 


Orientación de acciones, metodología, equipo gestor para cumplir las metas a mediano y largo 


plazo 


Integración a la comunidad educativa a través de estrategias que solvente necesidades 


específicas. 


El manejo de estrategias de comunicación efectiva 


Establecer las necesidades e intereses de todos los actores de la comunidad educativa con 


énfasis en los niños, niñas y adolescentes. 


Promoción de espacios de diálogo entre los miembros de la comunidad educativa 
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e Adaptación de manejo de necesidades del centro escolar. 


Se incluye la gestión escolar, los componentes que permite al, centro escolar planificar su 


características, oferta, intereses y contexto de cada institución educativa. 


Es de gran importancia tanto para el funcionamiento interno como para que la comunidad educativa 
para aquellas personas y organizaciones con las que se relacionan conozcan su funcionamiento, sus 


objetivos y su identidad. 


El PEL, de acuerdo con el Ministerio de Educación (2017) debe concretar ideas, estrategias 
sistematizadas que le permita innovar paradigmas, lo que permitirá “alterar la realidad vigente, 
modificando concepciones y actitudes, alterando métodos e intervenciones y mejorando o 
transformando, según los casos, los procesos de Enseñanza y aprendizaje” (Scarpetta, 2019). Este 
proceso debe ser participativo, basado en la autoevaluación institucional el que permitirá planificar 
acciones de mejoramiento que resuelvan las necesidades y problemas que existen a partir de la 
participación continua de la comunidad educativa. Estas acciones permitirán lograr los estándares 


educativos establecidos por el Sistema Nacional de Educación a partir del 2017. 


1.1.2. Propuesta pedagógica 


Se trata de aquellos principios filosóficos son los elementos que fundamentan la razón d ser de la 
institución y pedagógicos logra que las acciones de los miembros de la comunidad educativa se 
identifiquen con los principios institucionales, estos proporcionan coherencia a la relación entre la 


práctica educativa y los principios pedagógicos por medio de las dimensiones de gestión escolar. 


Marco 
pedagógico 


Marco 
filosófico 


Pricipios éticos 


Principios 
Pedagógicos 


Principios 
epistemolóticos 


Propuesta Pedagógica 
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Diseño de la propuesta pedagógica 


1.1.3. Plan Curricular Institucional 


El PCI se construye con la información pedagógica generada en el diagnóstico institucional y es de 
responsabilidad de las autoridades y docentes de la institución educativa. Hoy en día está regido por 
el Plan Colmena que es una iniciativa del Ministerio de Educación para que la comunidad ejerza su 
derecho a la participación en la gestión escolar. Así, la comunidad educativa interviene directamente 
en la generación de los instrumentos de planificación de la institución educativa y da seguimiento al 
cumplimiento de sus objetivos y valora los resultados del proceso educativo. Colmena presenta a la 
comunidad una colección de herramientas para el trabajo participativo, que permiten integrar las 
opiniones y expectativas de la comunidad educativa y local en el proceso de construcción de la 
planificación escolar, para esto Colmena propone el uso de varias herramientas de participación 


comunitaria (Ministerio de Educación del Ecuador, 2023) 
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2. Diseño de Proyectos Educativos (PE) 


El PE es un documento propio del centro o institución educativa, se lo elabora por medio de un 
diagnóstico de las necesidades, circunstancias y entorno de este, que proporciona respuesta a una 
problemática específica. Es necesario tener una buena difusión de este para que toda la comunidad 
educativa esté enterado de los objetivos como garantía de los procesos que se utilizarán. En este 
tipo de proyectos es indispensable conocer la realidad de la institución para implementar una 
propuesta. Se debe realizar el análisis del entorno socio cultural, necesidades y circunstancias que 
permitan abordar el plan de actuación respetando el principio de no discriminación e inclusión 


educativa. 


Hay que recordar que todo proyecto educativo debe encontrar a qué visión del PEI y que elementos 

deben ser respetados del PCI para tener coherencia y que aporte con el mejoramiento de la calidad 

educativa al momento de ser evaluados. En otras palabras, todo proyecto debe tener clara la misión, 
la visión y los valores del centro educativo, así como incluir los criterios, prioridades y 


planteamientos metodológicos y educativos. 


El asociar proyecto con educación, se establece que el proyecto educativo es un proceso planificado 
que se relaciona con el proceso de enseñanza aprendizaje que corresponden a un determinado 
objetivo que ha sido estructurado a partir de una necesidad o problema detectado cuya meta es 
satisfacer o resolver dicho problema. De acuerdo con la OEA (2004) se trata de actividades 
vinculadas que se llevan a cabo estableciendo lugar, tiempo, recursos, objetivos y metas, de manera 
que se logre mejorar el problema o necesidad detectada con la solución más pertinente posible. Este 
trabajo debe ser organizado donde haya una coordinación y colaboración de al menos maestros, 


estudiantes y padres de familia, que tenga un carácter “activo y participativo” (Morejón, 2011, p.34) 


Los proyectos educativos están orientados a generar cambios en los entornos, “la educación es 
transformadora y faculta nuevas formas de comprender las relaciones y las dinámicas sociales. Éstos 


pueden desarrollarse en distintos ámbitos, por ejemplo: 


e Proyecto educativo para que los padres de familia de la comunidad educativa mejores las 
competencias digitales. 


e Proyecto educativo extracurricular para desarrollar el pensamiento estratégico y creativo a 
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través del ajedrez. 


Las iniciativas pretenden cumplir objetivos de formación y aprendizaje de acuerdo con un 
determinado contexto, bien sea este de forma tradicional o innovador. Como todo proyecto, surgen 
del diagnóstico de una necesidad específica y, por lo general, están ligados al sistema educativo que 


opera en dicha zona, más allá de si es de carácter público o privado. 


Estos proyectos pueden concretarse en una serie de proyectos escolares que aumentan la eficiencia 
del proceso de aprendizaje, fomentando así un proceso formativo para que los estudiantes de 
cualquier nivel desarrollen habilidades que le permita proponer soluciones creativas, relacionarse 
con otros adaptándose a las circunstancias cambiantes del mundo actual. Otras capacidades por 
desarrollar serían las de gestión de tiempo, manejo de información, competencias digitales, así como 
capacidades tradicionales, entre ellas las matemáticas, la lectura y la escritura, con una visión 
diferente, crítica, que entiendan su utilidad en la vida diaria. Cada proyecto puede enfocarse en sus 


propias prioridades. 


Enfoques de proyectos educativos 


(P.E.) 


e P.E. ejecutados en un centro o 
institución específico 
¢ P.E. relativos a un sistema educativo. 


e° P.E. que se desarrollan fuera del 
sistema educativo. 


¢ P.E. de aprendizaje especializado. 


Enfoue de proyectos educativos 


Otros apartados o documentos que puede contener un PEC son, por ejemplo, el plan de formación 
del profesorado, los criterios para organizar y distribuir el tiempo escolar y extraescolar u otros 
planes que impulse el centro para fomentar capacidades específicas de los alumnos (TIC, lectura, 


innovación, idiomas...). 


Elementos del Proyecto Educativo 


Cómo se ha visto, el proyecto educativo se diseña para fomentar el aprendizaje en un entorno 


específico. Las necesidades identifican las carencias a partir de un diagnóstico profundo. El PE no 
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solo se aplica con fines educativos, se pueden diseñar para cualquier situación de la institución, sea 


este medio ambiental, financiero, entre otros. 


Principales características de un proyecto educativo 


La intención de estos proyectos es resolver o solucionar problemas a partir de objetivos y metas, que 
permite la interacción de todos los miembros de la comunidad educativa. Emergen como resultado 
de necesidades del entorno educativo con respecto a una motivación específica. Se trabaja con 


evaluación continua para corregir errores para la mejora continua y satisfacción de los beneficiarios. 
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3. Fases de un Proyecto Educativo 


El diseño, desarrollo, implementación y evaluación de un PE es un proceso complejo que parte del 


análisis del contexto, el diagnóstico de las necesidades para definir las acciones que son necesarias 


para lograr el cumplimiento de los objetivos propuestos. 


3.1. Fase 1. Análisis del contexto o Estudio de la Situación 


Esta fase inicial se enfoque en analizar el entorno para identificar carencias, necesidades que se 


presentan en la comunidad educativa, es importante tomar en consideración la perspectiva de cada 


uno de los actores que intervienen en el proceso, sean estos directivos, personal administrativo, 


personal de servicio, docentes, estudiantes, padres de familia o tutores, sin olvidar a la comunidad 


que rodea a la institución. Para esto se analizará los siguientes puntos: 


Contexto sociocultural del centro: En este apartado se explica las variables que afectan al 
contexto de la institución, pueden ser la ubicación, cuartil poblacional, tipos de familia, entre 
otros, que permitan a los docentes a direccionar y conectar con las necesidades de la 
comunidad educativa. 

Los valores, objetivos y prioridades de actuación: se aborda la identidad del centro educativo, 
tipo de educación (fiscal, fiscomisional, privada, pública, laica, religiosa), el estilo de docencia, 
el modelo pedagógico, modelo de gestión. 

La organización general del centro: Se plantea las acciones que el centro realizará para el 
cumplimiento de los objetivos enfocados a cumplir las metas, mecanismos, normas para 
mejorar la convivencia y relaciones entre los distintos actores de la comunidad educativa. 
Descripción concreta de los currículos educativos de aquellos que están aprobados en el PCI. 
Plan de atención a la diversidad: Describir las acciones, adaptaciones, actuaciones del centro 
educativo frente a la diversidad que presenta la institución, en otras palabras, se explica las 
adaptaciones curriculares, medidas de la organización, procesos de refuerzo que pone en 
práctica la institución para dar una atención integral a todos sus estudiantes. 

La acción tutorial: Se explica si la institución tiene acciones que desarrollen los docentes con 
sus estudiantes, familias u otros docentes del centro educativo. 


El plan de convivencia: Se describe las líneas generales del modelo de convivencia 
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institucional, criterios, planes de formación docente, extracurriculares u otros que impulse al 


centro a fomentar las habilidades y destrezas de sus estudiantes. 


3.2. Fase 2. Identificación del problema 


Luego de que el contexto está totalmente claro, se debe definir los inconvenientes que se va a 


resolver por medio de este proyecto educativo. Entonces, es el momento de: 


e Justificar la viabilidad del proyecto al reconocer si existe una o varias soluciones viables y 
factibles. 
e Verificación de la viabilidad de la solución del problema. 


e Confirmación del apoyo del centro educativo o instituciones involucradas para su 


implementación. 
Factiblidad Viabilidad 
* Se refiere a los rasgos objetivo de un e Analiza las circunstancias y sugiere 
proyecto que demuestran que es la posibilidad que se lo pueda realizar 
posible realizarlo. con éxito. 
e Establece si existe la disponibilidad de » Establece la posibilidad de 
recursos necesarios para su implementarlo y se concrete gracias a 
implemtación y cumplir con los sus características. 
do pra f i e Análisis de la rentabilidad del 
e Análisis para determinar si la proyecto y sosteniblidad del proyecto. 


propuesta tiene condiciones para que 
su desarrollo sea exitoso 


Factibilidad vs Viabilidad 


3.3. Fase 3. Diagnóstico 


Un diagnóstico es un criterio que juzga o califica un problema que se ha observado y analizado sus 
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indicios y manifestaciones. En el área de la educación está estrechamente relacionado con el 
proceso de enseñanza aprendizaje, la gestión, el eje pedagógico, entre otros. Este diagnóstico 
educativo evaluará las aptitudes, actitudes y conocimientos de estudiantes y docentes, así como las 
acciones de los actores del proceso de enseñanza aprendizaje. El desarrollo del diagnóstico describe, 
clasifica y explica el accionar de los diferentes actores de la comunidad educativa relacionados con 


el problema en cuestión para tomar decisiones que permitan la mejora de la calidad educativa. 


La primera acción es recolectar información que conduzca a tomar acciones para diseñar estrategias 
pertinentes. Para ello es necesario establecer las fases del diagnóstico educativo: planificación, 
exploración, análisis y soluciones. En un diagnóstico educativo por lo general se involucran cinco 
elementos: el educador (los docentes), el educando (los estudiantes), el programa (lo que se enseña), 
la metodología (cómo se enseña), el marco institucional (el curso, la institución, la comunidad). Esto 
permite tener un resultado con una visión integral de la situación. Esta fase cuenta con objetivos de 
la investigación, la justificación, marco teórico que nos permitirá respaldar nuestras ideas, el 
levantamiento de la información, el análisis de resultados y las conclusiones de este diagnóstico que 


nos llevará a establecer las acciones. 


De acuerdo con el Proyecto Colmena (2023) del Ministerio de Educación del Ecuador, para 
establecer la realidad de una Institución educativa hay que realizar un diagnóstico programado, 
sistémico, reflexivo en función de datos confiables para emitir criterios que valoren, fundamenten, 
estén consensuados y sean fáciles de comunicar a la comunidad educativa, es decir, un diagnóstico 
debe ser una reflexión que tome en cuenta el PEI, así se puede “... identificar tanto los aciertos y 


fortalezas como los nudos y las necesidades institucionales” (p.56) . 


3.4. Fase 4. Definición de objetivos 


Una vez concluido con las fases en las que se encuentra el problema, se lo contextualiza, se levanta 
información y se analiza para la toma de decisiones, el siguiente paso es establecer los objetivos del 
proyecto sobre la base de la carencia o necesidad identificada. Los objetivos deben estar alineados al 
PEI, al PCI, en las instituciones educativas de bachillerato (que comprende: Educación Inicial, 
Educación General Básica, Bachillerato) deben estar alineados a los 4 ejes del Plan Colmena: Eje 


generador, eje de convivencia, eje pedagógico y Eje de Salud y Seguridad. 
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[AFO028VXK] Diseño y evaluación de proyectos educativos 
[MOD024KG1] Diseño y evaluación de proyectos educativos 
[UDI15352X] Introducción a proyectos educativos 


Ejes de gestión escolar y sus componentes 


Eje de 


Convivencia 


e Participación 

e Socioemocional 
e Vinculación 

e Inclusión 


Eje Generador 
Gestión 


Eje Pedagógico 


e Pedagógico- 
Curricular 

e Socioambiental 

e Ciudadanía digital 


e Administración 
e Flexibilidad 
e Contextualización 


Eje Salud y 
Seguridad 


e Protección Integral 
e Riesgos 

e Salud 

e Ciberseguridad 


Ministerio de Educación (2023) 


Ejes de gestión escolar y sus componentes. (Proyecto Colmena) 


Los objetivos se dividen en generales y específicos. El objetivo general expresa las intenciones 
educativas, es un propósito amplio en función de un tiempo dirigido a beneficiarios específicos. Los 
objetivos específicos se derivan del objetivo general y son pasos para conseguir el cumplimiento del 


objetivo general. 


Para garantizar que los objetivos específicos se encuentren bien definido es necesario usar la 
metodología SMART, que es el acrónimo las acciones que deben cumplir que se encuentra en inglés: 
specific, mesurable, attaninable, relevant y time bound, Es decir deben ser específicos, 
cuantificables, alcanzables, relevantes y sujetos a limitaciones de tiempo. Para redactar estos 


objetivos se debe: 


Á Establecer el camino 
para el 
cumplimiento del 
objetivo general 


Describir las metas, 
ya sean a corto, 
mediano o largo 
plaza, son los 
medios mediante el 
cuál se va a lograr 
las metas. 


Declarar la visión, es 
una breve 
descripción de lo 
que pretende el 
proyeto. 


maestriasenlinea.ute.edu.ec 
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Redacción de objetivos 


3.5. Fase 5. Plan de Acción 


Una vez definidos los objetivos, se elaboran las acciones que se tomarán para lograr los objetivos 
planteados. Este plan debe estar documentado, debe describir las estrategias, acciones y actividades 
que se realizarán. Esta planificación debe permitir realizar ajustes para adaptar las acciones de ser 


necesario. Las acciones deben ser evaluadas para elaborar el nuevo plan de acción. 


Estos planes de acción permiten construir o mejorar la cultura organizacional, superar desafíos, 
tomar decisiones rápidas y oportunas, guiar a los educadores, asegurar el mejoramiento continuo de 
la institución. Para su construcción se puede usar la metodología 5W2H, por sus componentes en 
inglés: What (Qué), Why (Porqué), Who (Quién), Where (Dónde), When (Cuando), How (Cómo), How 
much (Cuánto). Esta metodología proporciona una visión integral de todos los involucrados y 
beneficiarios de la planificación, define y detalla las etapas para su ejecución. Para lograr un mejor 
desarrollo del proyecto es necesario reconocer las diferencias entre Objetivo, estrategia, acciones o 


tácticas y actividades: 


Estrategias Tácticas o acciones Actividades 


Son planes absdtrancto Son acciones concretas Son acciones específicas 
que parten de una visión que buscan solucionar que se realiza para el 
integral. problemas específicos. cumplimiento de las 

*Persiguen objetivos a largo «Ofrecen resultados tácticas 
plazo. inmediatos. *Pueden ser una o varias. 

*Están integradas por «Son prácticas que tiene un 
diferentes tipos de único fin. 
tácticas. «Dependen de los objetivos 

*Dependen de los intereses de a estrategia 


de las instituciones. 


Diferencias entre Estrategias, tácticas y actividades 


Ejemplos: 
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[AFO028VXK] Diseño y evaluación de proyectos educativos 
[MOD024KG1] Diseño y evaluación de proyectos educativos 
[UDI15352X] Introducción a proyectos educativos 


Estrategia Tácticas Actividades 
* Plan de Marketing » Creación de la página web.  * Contratación de la empresa 
educativo * Producción de piezas paras que desarrolle la página 
redes sociales web 


* Contratación de la empresa 
que realice videos. 

* Contratación de personal 
para creación de 
contenidos y manejo de 


redes siociales 
* Definir protocolos de * Contestar quejas puntuales * Diseño de contenidos para 
atención de quejas y de estudiantes responder quejas 
sugerencias * Entrega de respuesta 


personalizada 


e Desarrollar un manual Responder a solicitud de e Diseño de folletos de 


de comunicación información de la información 
interna y externa comunidad educativa e` 

e Diseñar un plan de e Solucionar problemas de e Diagnóstico previo 
convivencia con convivencia de EGB e Diseño de actividades de 
protocolos de actuación convivencia 
por temáticas, edades y ¡se Talleres de convivencia 
cursos Aa V 

e Definir un protocolo de e Diseñar manual de e Atención a estudiantes 
actuación ante protocolos para que tiene ataques de 
emergencias naturales terremotos pánico en medio de un 

e Diseñar manual de terremoto 


riesgos ante 
inundaciones 


Ejemplos de las diferencias entre Estrategias, tácticas y actividades 


3.6. Fase 6. Recursos 


Recursos Humanos o mano : ¡De 
ha Sh Recursos materiales Recursos económicos 


nales, empleados *Cualquier herramientas Recursos económicos 
necesaria para la necesarios parsa la 
implementación del ejecución del plan. 
cumplimiento del proyecto. 
proyecto. «Entre estos se encuentra: 

recursos didácticos, 

software, hardware, 

materia prima, oficinas, 

epacios, entre otros. 

*Es decir todo lo 
relacionado con el trabajo 
a realizarse. 


Recursos para u proyecto 


maestriasenlinea.ute.edu.ec 
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Durante esta fase se identifica los recursos necesarios para el alcance de las metas de las metas 
deseadas del proyecto y completar las tareas. Estos recursos son: humano, material y financiero. En 


esta fase es necesario establecer el presupuesto necesario para la implementación y evaluación. 


3.7. Fase 7. Evaluación del proyecto 


Esta es una etapa muy importante porque evalúa los resultados del proceso. A lo largo del proyecto 
se debe reunir datos que se van generando para lograr medir los resultados y los logros y 


retroalimente de manera que se pueden realizar ajustes y mejoras. 


Para esta fase se debe tener claro que temas se evaluarán del proyecto, de manera que se pueden 
establecer los objetivos de evaluación, los indicadores y las fuentes de información. Para evaluar se 
recoleta información relevante, podría ser por medio de encuestas a los beneficiarios, registros, 


entrevistas, entre otros. 


En este punto necesitamos saber que tipos de evaluación se realizaran de acuerdo con las 


necesidades establecidas en los objetivos de evaluación. 


Tipos de evaluación 


Evaluación Se realiza durante la implementación del proyecto. 
Formativa *Permite monitorear el proceso e ir realizando ajustes. 


Evaluación *Se lleva a cabo al final del proyecto para medir los 
Sumativa logros y resultados globales 


Evaluación *Se centra en descripciones detalladas y comprensión 
Cuantitativa profunda. 


Evaluación *Se centra en descripciones detalladas y comprensión 
Cualitativa profunda. 


Evaluación *Involucra a los beneficiarios y otros actores en el 
Participativa proceso de evaluación. 


Tipos de evaluación 


Se debe analizar los resultados para identificar los logros, los obstáculos y las áreas de mejoras, al 
final se elabora un informe de los hallazgos y se ofrecen recomendaciones para futuras 


intervenciones 
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4. Proyecto educativo Innovador 


Un proyecto innovador en educación es una iniciativa que pretende introducir nuevos métodos y 


metodologías de enseñanza y aprendizaje a través de prácticas pedagógicas innovadoras, gestión 


institucional y administrativa centrada en el estudiante, herramientas de evaluación diferentes, 


métodos y recursos educativos actualizados, valores y contenidos que respondan a las necesidades y 


expectativas de los estudiantes, la comunidad educativa y al desarrollo educativo de un país. Estos 


proyectos sobresalen por su originalidad, creatividad y la capacidad de una transformación 


significativa en el proceso de enseñanza-aprendizaje. Hay que recordar que este tipo de proyectos 


son interactivos, cooperativos y de trabajo colaborativo de todos los actores que participan en él. 


Características de los Proyectos Innovadores: 


Originalidad: En un proyecto educativo se refiere a la capacidad de crear algo nuevo, único y 
diferente en el contexto de la educación, se refiere a la creatividad, innovación, personalización 
e impacto positivo. 

Creatividad: es una cualidad que se refiere a la capacidad de pensar de manera original, 
novedosa y generar soluciones diferentes y creativas para los desafíos que presenta la sociedad 
actual. Deben ser flexibles, originales, innovadores en el área pedagógica, motivar a sus 
estudiantes y generar compromiso en ellos. 

Enfoque en el Aprendizaje del Estudiante: Prioriza el desarrollo integral de los estudiantes, 
adaptándose a sus necesidades, estilos de aprendizaje y contextos centrada en su proceso 
educativo, por consiguiente, es personalizado a las necesidades individuales. Se fomenta la 
participación activa involucrando en la toma de decisiones a los estudiantes, se utiliza 
metodologías activas y se trabaja con una evaluación centrada en el progreso individual de 
cada estudiante proporcionando retroalimentación continua para mejorar el proceso. 

Uso de Tecnología y Metodologías Activas: son enfoques pedagógicos que ponen al estudiante 
en el centro del proceso de aprendizaje. Estas metodologías fomentan la participación activa, la 
colaboración y la aplicación práctica de conocimientos. Entre las más utilizadas se pueden 


enumerar a 


Aprendizaje Basado en Problemas (ABP): se resuelven problemas del mundo real en grupos, 
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enfocados a la investigación y el análisis. 

e Clase Invertida (Flipped Classroom): Se estudian contenidos con previa investigación realizada 
en casa. En el aula se realizan prácticas grupales para debatir, discutir y concluir el tema. 

e Aprendizaje Cooperativo: Se trabaja en pequeños grupos con objetivos comunes, se fomenta la 


colaboración, responsabilidad compartida y la interacción. 


Gamificación: se incorpora elementos de juego en el proceso de aprendizaje. Motiva a los 

estudiantes a aprender en un ambiente más divertido. 

e Aprendizaje por Proyectos: Se desarrolla proyectos significativos aplicando conocimientos en 
contextos reales. Tiene un enfoque en la investigación, la creatividad y la autonomía. 

e Aprendizaje por Retos: se buscan desafíos para los estudiantes, estimula la resolución de 
problemas y la toma de decisiones. 

e Aprendizaje por Descubrimiento: se basa en la exploración, descubren los conceptos por si 


mismo, se basa en la curiosidad y la experimentación. 


Impacto Social y Educativo: Los proyectos innovadores buscan mejorar la calidad de la 


educación, reducir la brecha de aprendizaje y promover la equidad. 


Ejemplos de proyecto innovadores en Educación 


e Aprendizaje en Línea Interactivo: Plataformas que ofrecen cursos en línea con elementos 
interactivos, como simulaciones y juegos educativos. 

e Robótica Educativa: Programas que introducen a los estudiantes en la robótica y la 
programación a través de kits y desafíos creativos. 

e Aulas Flexibles: Diseño de espacios de aprendizaje que fomentan la colaboración, la creatividad 
y la adaptabilidad. 

e Gamificación en el Aula: Uso de elementos de juego (puntuación, competencias, recompensas) 
para motivar el aprendizaje. 

e Aprendizaje Basado en Proyectos (ABP): Desarrollo de proyectos reales que integran diversas 


áreas del conocimiento y promueven la investigación y la resolución de problemas. 
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4,1. Bibliografía 


Para citar y formatear la bibliografía de acuerdo con las normas APA 7 en un proyecto, debes seguir 
algunas pautas específicas. A continuación, un ejemplo de cómo formatear una bibliografía 


siguiendo estas normas: 


Bibliografía 
e Libros: Apellido, Inicial del nombre. (Año). Título del libro en cursiva. Editorial. 
Ejemplo: Smith, J. (2020). Educación inclusiva en el siglo XXI. Editorial Educativa. 


e Artículos de revistas académicas: Apellido, Inicial del nombre. (Año). Título del artículo. Título 


de la revista en cursiva, volumen(número), páginas. 


Ejemplo: García, A. (2019). Estrategias para la atención a la diversidad en el aula. Revista de 


Educación Inclusiva, 7(2), 45-60. 


e Capítulos de libros: Apellido, Inicial del nombre. (Año). Título del capítulo. En Inicial del 


nombre Apellido del Editor (Ed.), Título del libro en cursiva (páginas del capítulo). Editorial. 


Ejemplo: Rodríguez, M. (2018). La importancia de la formación docente en la educación inclusiva. 


En A. Pérez (Ed.), Educación y diversidad (pp. 87-102). Editorial Universitaria. 


e Sitios web: Apellido, Inicial del nombre del autor o entidad. (Año). Título de la página o 


artículo. Nombre del sitio web en cursiva. URL 


Ejemplo: Ministerio de Educación de España. (2020). Estrategia para la Educación Inclusiva. 
Ministerio de Educación y Formación Profesional. 


https://www.mecd.gob.es/educacion/mc/eei/estrategia-educacion-inclusiva.html 


Recuerda que la bibliografía debe estar ordenada alfabéticamente por el apellido del autor o el 


nombre de la entidad, si no hay autor específico. Además, debes utilizar sangría francesa (segunda y 
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siguientes líneas de cada entrada bibliográfica desplazadas hacia la derecha) y un espaciado doble 
en toda la bibliografía. Además, debes asegurarte de que todas las citas y entradas bibliográficas 


cumplan con las normas APA 7. 
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Recuerda 


Los proyectos institucionales sirven para conocer la identidad y el accionar de los Centros 
Educativos. 

El Proyecto Colmena es un proyecto para los niveles de Educación Inicial, Educación General 
Básica y Bachillerato que trabaja bajo cuatro ejes que guían el quehacer institucional y 
pedagógico. 

Los proyectos educativos tributan a los ejes del Proyecto Colmena. 

Las fases del proyecto educativo son siete: análisis del contexto, identificación del problema, 
diagnóstico, definición de objetivos, plan de acción, recursos y evaluación del proyecto 

El diagnóstico es una de las fases más importantes porque de esta deriva las estrategias que se 
plantearán para resolver la problemática que interviene el proyecto educativo. 

Un proyecto educativo innovador debe ser orinal, creativo, que busque la transformación 


integral del proceso enseñanza aprendizaje. 
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Introducción 


La evaluación financiera de proyectos educativos esencial porque ayuda con la optimización de 
recursos, la toma de decisiones de manera informada, la identificación de riesgos financieros, la 
alineación a los objetivos institucionales y a medir la rentabilidad. Es decir, asegura la eficiencia, la 


transparencia y la sostenibilidad de todas las acciones que se desarrollen en el proyecto. 
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Resultados de aprendizaje 


e Reconocer las características principales de la evaluación financiera 


e Determinar los procesos de evaluación financiera de proyectos educativos 
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1. Introducción a la evaluación financiera de PE. 


La evaluación financiera de proyectos en cualquier ámbito, incluida la educación, es un proceso 
sistemático que permite analizar y medir la viabilidad económica y financiera de un proyecto antes 
de su implementación. Su objetivo es determinar si el proyecto generará beneficios suficientes para 


justificar la inversión realizada. 


Al realizar un proyecto educativo se debe tomar en cuenta que sea flexible, versátil, que sean 
reutilizables los recursos, que pueda ser utilizado por largo tiempo, reforzando los conocimientos, 


satisfaciendo necesidades y expectativas, así como contextualizando la problemática. 


La evaluación financiera en los proyectos educativos asegura la sostenibilidad a largo plazo, la 
eficiencia de las estrategias y la transparencia de las acciones a lo largo del proyecto o programa. 


Las razones más importantes son: 


1. Optimización de Recursos: 


e La evaluación financiera permite optimizar el uso de recursos (dinero, tiempo, personal) en el 
proyecto. 


e Ayuda a asignar fondos de manera eficiente y a evitar gastos innecesarios. 


2. Toma de Decisiones Informada: 


e Proporciona información útil y valiosa para la toma de decisiones. 


e Permite evaluar la viabilidad financiera del proyecto antes de su implementación. 


3. Identificación de Riesgos Financieros: 
e La evaluación financiera considera riesgos como costos imprevistos, fluctuaciones económicas 
y cambios en la demanda. 


e Ayuda a prever y mitigar estos riesgos. 


4, Alineación con Objetivos Institucionales: 
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e Evaluar financieramente un proyecto garantiza que esté alineado con los objetivos estratégicos 
de la institución educativa 


e Evita inversiones en proyectos que no contribuyen a la misión y visión de la organización. 


5. Medición de Rentabilidad 
e La evaluación financiera calcula indicadores como el Valor Actual Neto (VAN) y la Tasa Interna 


de Retorno (TIR) 


e Estos indicadores miden la rentabilidad del proyecto a lo largo del tiempo. 
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2. Características Principales de la Evaluación Financiera de 


Proyectos Educativos 


Las características principales de la evaluación de proyectos o programas educativas son: 


e Identificación del Proyecto: Determinación del proyecto: objetivos y alcance. Se identifican los 
recursos necesarios y los posibles beneficiarios. 

e Estimación de Costos: Se calculan los costos asociados al proyecto, incluyendo inversiones 
iniciales, gastos operativos, mantenimiento y otros costos recurrentes. 

e Determinación de Ingresos: Se proyectan los ingresos que se generarán a lo largo del proyecto. 
Estos pueden provenir de cualquier fuente. 


e Análisis de Viabilidad Financiera. 


Para el análisis de la viabilidad financiera es necesario los cálculos matemáticos del Valor presente 


neto (VPN), del valor anual neto (VAN) y la tasa interna de retorno (TIR). 


El Valor Presente Neto (VPN) es una herramienta fundamental en la evaluación financiera de 
proyectos. Representa el valor actual de los flujos de efectivo futuros generados por una inversión, 
descontados a una tasa de interés específica. Si el resultado del cálculo es positivo, indica que la 
inversión es rentable, ya que los flujos de efectivo descontados son mayores que la inversión inicial. 


Por otro lado, un VPN negativo sugiere que la inversión podría no ser favorable. 
Fórmula: 


n 


VPN = / Flujo de efectivo neto durante un solo periodo/ (1+Tasa de descuento) 


Se define el periodo, se rastrea los flujos de efectivo actuales y proyectados, se ubica la tasa de 


rendimiento que esperan los inversionistas (tasa de descuento) 


e Inversión inicial USD 10.000 
e Tasa de descuento 0% (en una institución pública educativa no se busca réditos económicos) 
e Años inversión: 1er. USD. 5.000, 2do. USD. 9.000, 3er. USD. 2.000, 4to. USD. 0 


e Al tener una taza de inversión de 0%, entonces los valores quedan igual. 
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e ler. Año (USD. 5.000/ (1+0)= USD. 5.000; lo mismo sucede con todos los años 
e Cálculo de VPN es la diferencia entre la sumatoria de los montos de inversión de al menos 4 


años anteriores con la inversión inicial del nuevo proyecto. 


VPN= (5000+9000+2000+0) - 10.000= 6.000 USD. 
e El Valor Presente Neto es de USD. 6.000,00 


La Tasa Interna de Retorno (TIR) es un indicador financiero utilizado para evaluar la rentabilidad de 
un proyecto de inversión. Se expresa en porcentaje y se calcula en relación con la inversión 
realizada. Se la calcula a partir de conocer las cantidades de dinero que obtendrás con esa 


inversión. 


La Tasa Interna de Retorno (TIR) es la tasa de descuento que iguala el VPN a cero. Una TIR 
superior a la tasa de descuento mínima indica viabilidad. Es uno de los métodos más utilizados en la 
evaluación financiera de proyectos de inversión. Su objetivo es determinar la rentabilidad de una 


inversión y se expresa como un porcentaje. A continuación, te explico cómo se calcula: 


e Flujos de Efectivo: Primero, necesitas tener los flujos de efectivo esperados del proyecto a lo 
largo de su vida útil. Estos flujos pueden ser ingresos, gastos, inversiones iniciales o cualquier 


otro movimiento de dinero. 


VAN = -lo + TIR 


VAN =-lo +/Ft/(1+TIR) =F1/(1+TIR) +F2/(1+TIR) +...+Fn/(1+TIR) 
Donde 

Ft son los flujos de dinero en cada periodo t 

I0 es la inversión realiza en el momento inicial (t = 0 ) 


n es el número de periodos de tiempo 


e La TIR es la tasa de descuento que hace que el Valor Actual Neto (VAN) sea igual a cero. 


e El VAN se calcula descontando los flujos de efectivo futuros a una tasa de interés específica. 
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Interpretación: 


e Si la TIR es mayor que la tasa de descuento mínima requerida, el proyecto es rentable, es decir 
si es mayor a cero, ganarás dinero con la inversión. 


e Si la TIR es igual o menor que la tasa de descuento, el proyecto no es rentable. 


En resumen, la Tasa Interna de Retorno es una herramienta esencial para evaluar la viabilidad 
financiera y la rentabilidad de un proyecto. Si tienes más preguntas o necesitas más detalles, no 


dudes en preguntar 


El Período de Recuperación (Payback) mide el tiempo necesario para recuperar la inversión 


inicial. Un período de recuperación más corto es preferible. 


La Evaluación de Riesgos analizan los riesgos asociados al proyecto, como cambios en los costos, 


la demanda o la tecnología. Se deben considerar estrategias de mitigación. 


La Medición de Impacto es fundamental para evaluar su sostenibilidad y contribución a la 
sociedad, al medio ambiente y a la economía de las personas involucradas en el proyecto. Se lo 


utiliza para evaluar la efectividad y la forma en que afecta a la sociedad. 
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3. Medición de impactos 


La medición de los impactos de un proyecto es fundamental para evaluar su efectividad y 


comprender cómo afecta a la sociedad, el medio ambiente y la economía. 
Medición del Impacto Social: 


Comienza por identificar a las personas o grupos que se verán afectados por el proyecto. Estos 
pueden ser directos (por ejemplo, beneficiarios de un programa educativo) o indirectos (como la 


comunidad en general). 


Indicadores Sociales: 


e Educación: Tasas de alfabetización, acceso a la educación, mejora en habilidades. 
e Salud: Acceso a servicios médicos, reducción de enfermedades, esperanza de vida. 


e° Empleo: Generación de empleo, mejora en condiciones laborales. 


Evaluación Cualitativa y Cuantitativa: 


Combina datos cuantitativos (números) con datos cualitativos (historias, testimonios) para obtener 


una imagen completa del impacto. 


e Identificación de Beneficiarios: Se identifica a las personas o grupos que se verán afectados 
por el proyecto. Estos pueden ser directos (por ejemplo, beneficiarios de un programa 
educativo) o indirectos (como la comunidad educativa en general). 

e° Descripción de Cambios Positivos: Se define los cambios positivos que se esperan lograr. 
Por ejemplo, ¿mejorará la calidad de vida de los beneficiarios? ¿Se reducirá el nivel de 
deserción? ¿Se fomentará la igualdad de género? 

e Indicadores Medibles: Se establece indicadores específicos para medir el impacto. Por 
ejemplo, tasas de alfabetización, acceso a la educación, mejora en habilidades, tasa de 
repitencia, tasa de deserción, entre otras. 

e Estrategias de Mejora Continua: Se propone estrategias para mejorar el impacto social a lo 
largo del proyecto. Esto puede incluir ajustes en la implementación, seguimiento y 


retroalimentación. 
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Medición del Impacto Ambiental: 


Analiza los posibles impactos del proyecto en el medio ambiente. Considera: 


e Aire: Emisiones, calidad del aire. 
e Agua: Consumo, contaminación. 
e Suelo: Cambios en la vegetación, erosión. 


e Biodiversidad: Impacto en especies y ecosistemas. 


Identificación de Impactos Ambientales: Se analiza los posibles impactos ambientales del proyecto. 


¿Cómo afectará al aire, agua, suelo, biodiversidad y recursos naturales? 


e° Huella de carbono (Medida de emisiones de gases de efecto invernadero) 

e Consumo de recursos naturales (agua, energía, materiales) 

e° Evaluación de Magnitud y Probabilidad: Se evalúa la magnitud y probabilidad de estos 
impactos. ¿Serán significativos o menores? ¿Es probable que ocurran? 

e Diseño de Medidas Preventivas y Correctivas: Se diseña medidas para mitigar los impactos 
identificados. Por ejemplo, si el proyecto implica construcción, ¿cómo se protegerá la flora y 


fauna local? 


Medición de Impacto Económico: 


Se considera cómo el proyecto afectará la economía local o nacional. Generación de empleo, 


crecimiento económico. 


Importancia de la Evaluación Financiera de Proyectos: 


e Toma de Decisiones: Ayuda a los tomadores de decisiones a evaluar si el proyecto es factible 
desde una perspectiva financiera. 

e Optimización de Recursos: Permite asignar recursos de manera eficiente y evitar inversiones 
innecesarias. 

e Transparencia y Responsabilidad: Facilita la rendición de cuentas y la transparencia en la 


gestión de proyectos. 
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La evaluación financiera de proyectos es esencial para garantizar que las inversiones se realicen de 


manera informada y que los proyectos contribuyan al desarrollo sostenible. 
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4. Otros parámetros de evaluación de PE 


Para que una garantizar el éxito y la efectividad de un proyecto, se pueden establecer otros 


parámetros de evaluación, entre ellos se encuentran: 


Fases del Proyecto: 


e Las fases son etapas secuenciales que componen el ciclo de vida del proyecto. 
e Incluyen la planificación, ejecución, seguimiento y cierre. 


e Cada fase tiene objetivos específicos y actividades asociadas. 
e Subprocesos: 


e los subprocesos son componentes más pequeños dentro de cada fase, por ejemplo, en la 
fase de planificación, los subprocesos pueden incluir la identificación de necesidades, la 


definición de objetivos y la asignación de recursos. 
e Indicadores Medibles: 


e Son medidas específicas que se utilizan para evaluar el progreso y el logro de los objetivos 


del proyecto. Pueden ser cuantitativos (números) o cualitativos (descriptivos). 
e Parámetros y Criterios de Evaluación de desempeño: 


e Los parámetros son los estándares o referencias utilizados para evaluar el desempeño del 
proyecto. 

e Los criterios son los elementos específicos que se evalúan. 

e Por ejemplo, si el proyecto es un programa de capacitación, los criterios pueden incluir la 
participación de los asistentes, la calidad de los materiales y la retroalimentación de los 


participantes. 
e Evaluación de Calidad Educativa: 


e Se evalúa la calidad del proceso de enseñanza-aprendizaje. Se incluye aspectos como la 
pertinencia de los contenidos, la metodología utilizada, la formación del personal docente 


y la infraestructura. 


e Evaluación de Sostenibilidad: 
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e Se analiza si el proyecto es sostenible a largo plazo, debe considerarse aspectos 
financieros, institucionales y sociales. 

e Evaluación de Participación y Comunicación: Se evalúa la participación activa de los 
actores involucrados (estudiantes, docentes, padres de familia, comunidad). También se 


analiza la efectividad de la comunicación interna y externa. 
e Evaluación de Procesos Administrativos: 


e Se revisan los procesos administrativos relacionados con la gestión del proyecto. Esto 


incluye aspectos como la planificación, la ejecución, el seguimiento y la evaluación. 
e Evaluación de Impacto Social y Comunitario: 


e Se mide el impacto del proyecto en la comunidad y la sociedad en general, se evalúa 


aspectos relacionados con la equidad, la inclusión y la mejora de la calidad de vida. 


Una evaluación más completa y holística conlleva a que los proyectos educativos consideren no solo 


aspectos financieros sino sociales, culturales, psicológicos, técnicos y pedagógicos. 
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Recuerda 


e La evaluación financiera es importante para conocer la salud del proyecto porque permite 
gestionar recursos, toma de decisiones, riesgos e impactos que puede ocasionar la 
implementación del proyecto educativo. 

e La rentabilidad ayuda a establecer los parámetros de gastos, costos e inversiones frente al flujo 
de capital que se tiene para el diseño, desarrollo, implementación y evaluación del proyecto. 

e Es importante establecer también los impactos económicos que tiene el proyecto en la 
población, no obstante, también producen costos los impactos sociales y ambientales. 

e Evaluar otros parámetros aportará a que el proyecto siga adelante y tenga una larga vida de 
ejecución haciendo la evaluación continua, mirar subprocesos que pueden estar generando 


costos innecesarios. 
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I. INTRODUCCION 


El uso de las tecnologías en el ámbito educacional se ha vuelto una de las prioridades para 
los gobiernos de países desarrollo. La inversión en Tecnologías para la Educación (TEd) ha 
aumentado crecientemente durante la última década con el objetivo de mejorar la calidad de 
la educación y adecuarla a la realidad del siglo XXI. Sin embargo es insuficiente lo que se 
ha hecho en el ámbito de la evaluación de estos programas. Es en este contexto que la 
evaluación de programas de Tecnologías para la Educación cobra gran importancia por 


cuanto permite aprender tanto de la implementación como de los resultados esperables. 


El presente documento se dirige a quienes diseñan, implementan y toman decisiones 
respecto a proyectos Tecnologías para la Educación (TEd) y tiene por objetivo motivar el 
desarrollo de procesos de seguimiento y evaluación cada vez más rigurosos, de manera que 
el conocimiento adquirido apoye el desarrollo de experiencias más ricas, focalizadas, 


eficaces y sostenibles. 


Aquí se proponen las definiciones básicas, las condiciones y los lineamientos para 


llevar a cabo la evaluación de proyectos que consideran el uso de tecnologías en educación. 


En una siguiente sección presentamos los fundamentos y objetivos que suelen 
perseguir las iniciativas para el uso de Tecnologías en Educación y los aspectos centrales 
del Marco para la la Acción que en este campo ha desarrollado el BID. En el tercer capítulo 
nos referiremos a qué es la evaluación, cuáles son sus componentes básicos y los tipos de 
evaluación existentes. Finalmente, revisaremos paso a paso las características de una 


evaluación para este tipo de programas. 


II. EVALUACIÓN DE TECNOLOGÍAS PARA LA EDUCACIÓN (TED) - FUNDAMENTOS 


Y MARCO CONCEPTUAL, 


El uso de tecnologías en educación se propone apoyar el logro de mejores resultados 
educativos en los estudiantes. Para ello, quienes diseñan e implementan este tipo de 
iniciativas suponen que la incorporación de tecnologías permitirá mejorar los procesos 
educativos, hacerlos más efectivos, disminuir los costos de algunas acciones, habilitar el 


desarrollo de nuevas prácticas e innovaciones que impacten el la calidad de los resultados. 


Dentro de los fundamentos y justificaciones que se han propuesto para los proyectos 
destinados a ampliar el acceso a la tecnología en educación se encuentran (Severin y 


Capota, 2011): 


a) Fundamentos Económicos: el conocimiento en el uso de las TICs es necesario para 
que los países sean competitivos en un mundo globalizado. Adicionalmente es 
necesario desarrollar habilidades en el ámbito de las TICs debido al creciente uso de 
tecnología en los procesos productivos para aumentar la productividad de éstos. 

b) Fundamentos Sociales: Este tipo de proyectos apunta a disminuir la “brecha 
digital”, que se define como la diferencia en el acceso y uso de la tecnología entre 
distintos grupos de población, especialmente entre los ricos y pobres. 

c) Fundamentos Educativos: El uso de las TICs en educación es tanto un medio como 
un fin en sí mimo. Por un lado, es necesario educar a los diferentes actores del 
sistema educativo en el uso de las TICs de manera que estén preparados para hacer 
frente a las demandas de la realidad actual y por otro, el uso de éstas permite que los 
sistemas educativos puedan adaptarse de mejor manera a la diversidad de intereses y 


habilidades de sus estudiantes, ofreciendo así una educación más pertinente. 


La evaluación proyectos de Tecnologías para la Educación TEd resulta fundamental, tanto 
para asegurar que se están obteniendo los resultados esperados, como para aprender 
respecto de la combinación óptima de insumos y procesos que permiten alcanzar buenos 
resultados. De esta manera, es posible consolidar un proceso intencional de aprendizaje y 
mejoramiento continuo que permita que las nuevas iniciativas sean más eficientes y efectivas. 
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2.1 Marco Conceptual 


El BID ha propuesto un marco conceptual (Severin, 2009 y 2011) para apoyar el diseño, la 
implementación, el monitoreo y la evaluación de proyectos que buscan incorporar las 


tecnologías para el logro de mejoras educativas. 


Este marco propone fundamentalmente la integralidad de los proyectos, de manera 
que formen parte sistémica de las políticas educativas, y no sean un esfuerzo aislado, en la 


búsqueda de los resultados de calidad. 


El marco propuesto identifica cuatro insumos que al menos debieran ser 
considerados en cada proyecto y los procesos y productos en que éstos se verán reflejados, 
tomando en cuenta aquellos que, aún no formando parte directa de una intervención pueden 
afectar o verse afectados por el desarrollo del proyecto. Luego, se proponen diversos 


indicadores para medir el grado de desarrollo y maduración del proyecto. 


Figura 1: Marco Conceptual para el Diseño, Implementación, Monitoreo y Evaluación 
de proyectos TICs, BID 2011 
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El supuesto central de este marco conceptual es que el proceso educativo tiene por 
objetivo el logro de resultados de aprendizajes y el desarrollo de competencias y 
habilidades por parte de los estudiantes. Por consiguiente, los resultados esperados de las 
intervenciones están asociados a cambios positivos en las prácticas pedagógicas y en las 
prácticas de estudio, y a un mayor involucramiento de los actores educativos, especialmente 
los estudiantes, en el proceso de aprendizaje. El impacto esperado a largo plazo es un 
mejoramiento significativo en aprendizajes y en las competencias necesarias para 


desenvolverse en un mundo global. 


Es importante considerar que los aspectos a evaluar de un programa TEd están 
directamente asociados al grado de maduración en el desarrollo de éste. En este contexto, el 
Marco Conceptual identifica cuatro etapas: Emergencia, Aplicación, Integración y 
Transformación. Tanto los mecanismos de evaluación implementados como los indicadores 


utilizados deben ser pertinentes para cada una de estas etapas. 


Desde esta perspectiva plantea que los impactos que es posible y razonable esperar 
para Cada iniciativa, dependerán de los grados de maduración vigentes al momento de la 
implementación de este tipo de programas, lo que busca contar con expectativas razonables 


para cada intervención: 
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como un contenido 
específico de 
formación para los 
alumnos. Estudiantes 
tienen dificultades 
para acceder al uso 
de tecnologías. 


Actitud pasiva de los 


estudiantes respecto 
de los aprendizajes. 
Expectativas bajas o 
moderadas respecto 
del impacto de los 
estudios en su vida 
futura. 


Aplicación 


Clases centradas en 
los docentes, que 
incorporan 
esporádicamente el 
uso de tecnologías 
en alguna actividad 
escolar a partir de su 
planificación 
curricular regular. 
Estudiantes tienen 
acceso regular a las 
tecnologías, pero 
pocas veces las 
conectan con su 
experiencia escolar. 


Actitud pasiva de los 
estudiantes respecto 
de los aprendizajes. 
Expectativas 
moderadas respecto 
del impacto de la 
escuela en su vida 
futura, generan 
motivaciones por 
fuera de ella. 


Bajo impacto 


Bajo impacto 


Integración 


Clases centradas en 
los estudiantes, el 
docente asume un 
papel de animador y 
tutor, proponiendo 
activamente y 
acompañando el 
trabajo de los 
estudiantes que usan 
las Tecnologías 
colaborativamente 


en su trabajo escolar. 


El uso es 
relativamente 
intenso en el 
contexto de la 
escuela, pero baja 
sustancialmente 
fuera de ella y de las 
actividades 
propuestas. 


Actitud activa de los 
estudiantes respecto 
de los aprendizajes. 
Expectativas altas 
respecto de sus 
aprendizajes y sus 
logros personales, 
aunque no 
explícitamente 
conectado con su 
experiencia escolar. 


Mediano impacto 


Mediano impacto 


Transformación 


Entorno de 
aprendizaje 
permanente, 
docentes y 
estudiantes 
colaboran 
permanentemente 
en la creación y 
comunicación de 
conocimiento. 
Énfasis en la 
indagación y el 
desarrollo de 
proyectos, con 
creciente autonomía 
de cada actor y 
abundante uso de 
plataformas de 
comunicación y 
colaboración. 


Actitud proactiva y 
autónoma respecto 
del aprendizaje 
permanente a lo 
largo de toda la vida. 
Expectativas altas 
respecto de su 
futuro y del papel 
que la educación 
tiene para ello. 


Alto impacto 


Alto impacto 


De esta manera, la disponibilidad de un marco común y un set de indicadores permitiría 


avanzar en 3 áreas sustanciales para el sector: 


a) Disponer de un sistema de monitoreo y control del avance de las iniciativas de 
educación y tecnología. 

b) Contar con información que permita realizar evaluaciones de impacto de las 
iniciativas, considerando líneas bases, resultados a mediano y largo plazo, 
controlando por factores asociados a los docentes, los estudiantes y sus familias. 

c) Poder conocer el nivel de desarrollo relativo de los países en esta área, al poder 


contar con información comparable entre ellos. 


En base a estas definiciones, el Marco Conceptual plantea un conjunto de 122 indicadores 
(90 de insumos y 32 de resultados e impacto) que permiten contar con una visión global del 


proceso de incorporación de tecnología a la educación y sus resultados a través del tiempo. 


El mayor valor de poder contar con un conjunto amplio de indicadores es la 
disponibilidad de información para implementar un proceso formal de evaluación que 
permita establecer la línea o condiciones iniciales del proyecto, monitorear el proyecto 
durante su implementación de manera integral y finalmente poder realizar una evaluación 


de impacto de mediano y de largo plazo. 


HI. EVALUACIÓN: DEFINICIÓN, COMPONENTES BÁSICOS Y CLASIFICACIÓN 


3.1 Definición 


La evaluación se define como un proceso sistemático, metódico y neutral que hace posible 
el conocimiento de los efectos de una iniciativa, relacionándolo con las metas propuestas y 


los recursos utilizados. 


La evaluación de programas es un proceso que facilita la identificación, recolección 
e interpretación de datos útiles como parte del proceso de accountability, para planificar y 
definir la distribución de recursos y mostrar resultados, y especialmente, como un 
mecanismo que permite aprender de la experiencia pasada, mejorar los servicios prestados 
e informar el desarrollo de futuras mejoras en los programas evaluados o en el desarrollo de 
nuevas iniciativas. En particular, la evaluación de impacto se refiere a la identificación de 
los efectos, positivos o negativos, generados por determinado programa en los individuos 


que participan de éste, en comparación con quienes no participan. 


Una visión temerosa de la evaluación de programas es la que cree que ésta define el 
éxito o fracaso de determinado proyecto. Esta es una concepción bastante limitada ya que el 
fin último de la evaluación es proveer de retroalimentación permanente para apoyar el 
desarrollo y cumplimiento de los objetivos definidos por el proyecto e informar la toma de 


decisiones en el futuro. 


Siempre es importante considerar la evaluación como parte fundamental de un 
proyecto. Esto es clave tanto en términos de diseño como presupuestarios. Considerar la 
evaluación dentro de las etapas de un proyecto ayuda a definir de mejor manera los 
objetivos de éste y cómo se medirá el grado de cumplimiento de estos objetivos en las 
distintas etapas del proyecto. En términos presupuestarios, se estima que los gastos 
asociados a una evaluación rigurosa pueden estar entre un 3 y un 10% del costo total de un 
programa. Es por esto clave considerar los costos asociados a evaluación a la hora de 


presupuestar un proyecto. 


3.2 


Componentes básicos 


Una vez definidos los objetivos de una iniciativa, los componentes básicos a considerar 


para llevar a cabo una evaluación son: 


a) 


b) 


d) 


f) 


g) 


h) 


Definición de los objetivos y la estrategia de la evaluación, alineados con la 
lógica y los objetivos de la iniciativa que se pretende evaluar, los tipos de 
evaluación necesarios, y los métodos apropiados para ello. 

Definición y/o desarrollo de los indicadores necesarios para evaluar los objetivos 
del proyecto. 

Definición y/o desarrollo de los instrumentos que permitirán medir el nivel de 
cumplimiento de los indicadores antes expuestos. 

Definición de la unidad de análisis que se utilizará en relación con cada método de 
evaluación seleccionado. Por ejemplo, en el caso de una evaluación cuantitativa, se 
deberá definir la muestra necesaria para la evaluación. Muchas veces es necesario 
evaluar no sólo a los individuos que están participando en determinado programa 
sino también a un grupo de control. En el caso de una evaluación cualitativa, la 
forma en que seleccionará a los participantes. 

Definición de tiempos; normalmente los proyectos cuentan con objetivos de corto, 
mediano y largo plazo, es necesario tener claridad de éstos para así implementar 
correctamente el plan de evaluación. 

Aplicación de los instrumentos de evaluación: a la muestra necesaria, en los 
tiempos pertinentes. Es necesario considerar que en caso de instrumentos nuevos 
(no aplicados anteriormente), siempre es recomendable llevar a cabo un piloto para 
asegurar que el instrumento permite capturar la información que se espera obtener. 
Análisis estadístico o de interpretación de los datos provenientes de la aplicación de 
los instrumentos de evaluación. 


Retroalimentación del sistema. 


3.3 Tipos de evaluación 


Una evaluación puede ser definida en función de una serie de dimensiones. Dentro de cada 
dimensión puede considerarse que los tipos de evaluación son excluyentes entre sí, sin 


embargo, entre dimensiones no lo son. 


La tabla 1 resume las principales dimensiones que definen una evaluación y los 
tipos de evaluación que determinan. A continuación se describen cada una de ellas, con 


especial detalle en la evaluación de procesos y de impacto. 


Tabla 1: Dimensiones para clasificar los tipos de evaluación 
Dimensión Tipos de evaluación 


Según el tipo de indicadores e Cualitativa 
información analizada Cuantitativa 


Ex Ante 
Según el momento de realización de 


la evaluación 
Ex Post 


Según el tipo de indicadores de Evaluación de procesos 


evaluación Evaluación de impacto 


Según el uso que se le dará a sus Evaluación formativa 


resultados Evaluación Sumativa 


3.3.1 Según el tipo de indicadores e información analizada 


a) Cualitativa 


Las evaluaciones cualitativas se enfocan en variables a las cuales no se les puede aplicar 
métrica, es decir, no pueden ser descritos mediante números que den cuenta de su 
desarrollo o resultados. Este tipo de análisis es relevante por cuanto entrega información 
respecto del valor que le asignan los beneficiarios al programa y de los procesos que 
afectan los resultados, permitiendo así tener una mayor comprensión de los resultados 


observados. Las evaluaciones cualitativas son claves para entender e incorporar la visión de 
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los beneficiarios en la evaluación y son el mecanismo más apropiado para entender y 


evaluar los procesos sociales que rodean la implementación de un programa. 


Una evaluación cualitativa no es excluyente, respecto de una cuantitativa. Al 
contrario, es un insumo importante cuando se desarrollan evaluaciones cuantitativas, ya que 
puede ayudar a generar hipótesis o preguntas relevantes a ser exploradas mediante la 
evaluación cuantitativa, así como apoyar el análisis de los datos obtenidos en ellas. Los 
principales instrumentos utilizados para llevar a cabo este tipo de evaluaciones son los 


focus group y las entrevistas. 


Dentro de las principales ventajas de este tipo de evaluaciones destaca su 
flexibilidad, rapidez en la recolección de datos y procesamiento de la información. Sin 
embargo, la subjetividad y falta de representatividad estadística de este tipo de evaluaciones 


hace difícil generalizar conclusiones a toda la población beneficiaria. 


b) Cuantitativa 


Este tipo de evaluación se centra en indicadores que son variables susceptibles a ser 
descritas en forma métrica, utilizándose diversos métodos estadísticos (desde una simple 
comparación de medias hasta otros altamente complejos) para conocer los resultados de 
cada iniciativa. Dentro de sus atributos están la objetividad y la posibilidad de contar con 


información estadísticamente representativa. 


Los principales instrumentos utilizados para evaluar programas cuantitativamente 


son los registros administrativos, las encuestas y los test estandarizados. 
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3.3.2 Según el momento de realización de la evaluación 
a) Ex Ante 


Se lleva a cabo antes del inicio de la ejecución del programa. Tiene por objetivo evaluar el 
contexto en el cuál se implementará el programa, las necesidades detectadas, los insumos. Un 


estudio de este tipo puede utilizarse para construir una línea base para evaluaciones futuras. 


b) Intra (durante) 


Se desarrolla durante la ejecución del programa, tiene por objetivo evaluar las actividades 
del proceso mientras está en desarrollo, para así identificar aciertos, dificultades y errores 


en la implementación. 
c) Ex Post 


Se realiza una vez finalizado el proyecto, o una fase del proyecto, y tiene por objetivo 


evaluar los resultados obtenidos. 


3.3.3 Según el tipo de indicadores de evaluación 


a) Evaluación de procesos 


Tiene por objetivo evaluar la debida implementación del proyecto a través del análisis de 
los indicadores de insumo asociados al programa. Corresponde a una evaluación enfocada 
en la gestión e implementación del proyecto y su importancia radica en que permite 


verificar que se estén cumpliendo las condiciones para el debido desarrollo del proyecto. 


Este tipo de evaluación es sumamente relevante a la hora de implementar un 
programa ya que guarda relación con el efecto más inmediato que tiene la producción de 
los componentes sobre la población beneficiaria. También debe incluirse la evaluación de 
la calidad de los bienes y servicios entregados por el programa, tanto a nivel técnico como 


de percepción a nivel de usuarios. 


11 


Una evaluación de procesos se puede llevar a cabo: 


o Comparando el desempeño de la institución respecto a sí misma (evolución en el 
tiempo). 

O Evaluar en función de las metas propuestas por el programa (importancia que estas 
metas existan y estén bien definidas). 

o Comparando resultados de programas con estándares técnicos o de calidad 


preestablecidos (por ejemplo ISO 9000). 


La evaluación de procesos debe realizarse idealmente en todas las etapas de 
desarrollo del proyecto: antes, durante y después. Como se mencionó anteriormente, la 
evaluación ex—ante considera identificar aquellas necesidades claves que el programa debe 
atender, y por lo tanto, la definición de las metas según las cuales se va a evaluar el 
programa. La evaluación de procesos es especialmente importante durante la ejecución de 
un programa, sólo así es posible detectar a tiempo posibles errores o dificultades que estén 


surgiendo con la implementación del programa. 


Para la evaluación de procesos, y dependiendo de la naturaleza del programa a 
evaluar, puede utilizarse tanto información cuantitativa o cualitativa. El tipo de información 
a recolectar o analizar guarda estrecha relación con el tipo de análisis que queremos 
realizar, si lo que buscamos es evaluar la manera en que los beneficiarios perciben el 
programa, para ver si efectivamente esto se relaciona con los objetivos del programa, será 
necesario implementar entrevistas o bien focus groups donde un conjunto de beneficiarios 


pueda expresar su percepción del programa. 
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Un esquema de una evaluación de procesos se presenta en la siguiente figura: 


PASO JP - 
Aya <A quiénes vamos 
a evaluar? 
PASO y * La evaluación de 3 
pug ¿Qué indicadores procesos se realiza ¿Qué instrumentos 
? 
evaluar? en todos los actores vamos a usar? 


beneficiados 
° Infraestructura 


* Contenidos 
* Rec. Humanos 


* Registros Adm. 
° Encuestas 
* Entrevistas 


. Gestión * Observación en Terreno 
° Políticas * Grupos de discusión 
Sè S 
Pazo Retroalimentación © Aplicación de 
los instrumentos 
r, š 
r ç Análisis de a 
Resultados 


b) Evaluación de impacto 


Tiene por objetivo identificar si existen o no relaciones de causa efecto entre el programa y 
los resultados obtenidos y esperados. La evaluación de impacto generalmente se realiza de 
manera ex post, es decir, una vez finalizado el proyecto o una fase del mismo. La 
evaluación de impacto como será analizada en este documento es realizada con datos 


cuantitativos. 


La evaluación de impacto se basa en el concepto del escenario contrafactual, que 
consiste en la situación en la que estarían los beneficiarios si éstos no hubiesen participado 
en el programa, para así evaluar los efectos de éste. Dado que esto no es factible, porque de 
hecho los beneficiarios SON partícipes de la intervención, existe una serie de mecanismos 


para simular esta situación contrafactual. 
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La evaluación de impacto puede desarrollarse de distintas maneras considerando las 


siguientes dimensiones: 


b.1. Forma que se construye el grupo a evaluar 


Para llevar a cabo una evaluación de impacto es necesario identificar y separar los 
beneficios logrados como consecuencia de la intervención del programa, de aquellos que de 
todas maneras hubieran ocurrido sin la ejecución de éste, por efecto de la evolución normal 
de las condiciones del entorno o la acción de otros programas públicos o privados. Dado 
que no contamos con la situación contrafactual, es decir, no sabemos cómo estarían los 
beneficiarios si el programa no se hubiese implementado, es necesario construir una 
situación hipotética que nos permita simular este contrafactual, esto es lo que se conoce 
como grupo de control, que es un grupo de no beneficiarios que son parte del grupo 
objetivo y que comparten las mismas características sociales, económicas, educacionales, 


etc. del grupo de beneficiarios. 


Dependiendo de la forma que se construyen estas muestras, una evaluación de impacto 


se puede clasificar como: 


i) Experimental 


Tanto la muestra de beneficiarios como la de no beneficiarios se construyen asignando, 
dentro del grupo elegible, a los individuos aleatoriamente para determinado programa. De 
esta manera es posible asumir que ambos grupos de individuos serán estadísticamente 
iguales respecto de todos los atributos considerados relevantes para el proyecto, lo cual 


permite llevar a cabo, sin sesgos, una evaluación de programa. 


Este tipo de evaluaciones son muy comunes en ciertas áreas como la medicina y 
menos comunes en el ámbito de las políticas públicas, debido a que a veces no resulta 
políticamente viable excluir de la cobertura de un programa, aleatoriamente, a un grupo de 
beneficiarios elegibles que necesitan los servicios del programa. Por lo tanto, muchas veces 


se cuestiona la asignación aleatoria desde el punto de vista público, ya sea por motivos 
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éticos o políticos o bien porque muchas veces la necesidad de evaluar se genera una vez 
que el programa ya está en operación. Sin embargo, aún es posible llevar a cabo este tipo de 
evaluaciones cuando naturalmente los proyectos (en razón de presupuesto, de las etapas de 
implementación, de la focalización geográfica, u otras) permite aleatorizar entre 


beneficiarios y no beneficiarios. 


Para llevar a cabo una evaluación experimental ésta debe pensarse desde los 
orígenes del programa ya que implica tener claridad respecto de ambas muestras desde el 
inicio del proyecto. Además, se requiere un claro y decidido compromiso político para 
respetar y hacer respetar la aleatoriedad de la selección realizada, de manera de evitar la 
contaminación de los grupos tratados y control, lo que impediría atribuir los efectos al 


programa. 


ii) Cuasi Experimental 


Muchas veces no es factible asignar aleatoriamente a los beneficiarios de un programa. Las 
principales razones para que esto suceda es que, dada la naturaleza del problema o la 
intervención, se considere poco ético este tipo de asignación o bien porque el interés de 
evaluar nace una vez que el proyecto ya está en desarrollo o simplemente porque las 
condiciones de implementación hacen imposible aislar a los grupos tratados y de control. 
Sin embargo, la necesidad de simular una situación contrafactual sigue siendo necesaria 
para llevar a cabo una evaluación de impacto. Los Cuasi-Experimentos consideran el 
diseño de un grupo de control y el uso de diversos métodos para controlar por el hecho que 


los grupos de beneficiarios y de control no fueron construidos de manera aleatoria. 


b.2. Forma en que se construye el indicador de impacto 


La manera en que se construye el indicador de impacto depende del grupo para el cuál 
tenemos información (beneficiarios y grupo de control) y el período para el cual tenemos 
información (antes y después de la implementación del programa), así como el alcance del 


programa (universal o censal vs. selección). 


15 


Beneficiarios 


SELECCIÓN CENSAL 


Etapa 


pS Diferencias en Diferencias ¿ Evolución 
DISENO / Comparación entre beneficiarios ; Comparación de los resultados 
INICIO y no beneficiarios a través del ? de los beneficiarios a través de 
tiempo : tiempo 


Primeras Diferencias ¿ Noexiste grupo de control ni es 
: Acih r 7 vol r 1 
EN CURSO / Comparación de resultados entre : posible analizar evolución ue 
¿ resultados. La alternativa es buscar 


FINAL beneficiarios y grupo de control, 


zado 
rizaGos 
una vez finalizado el programa 


la línea base en tests estanda 


censales aplicados a nivel nacional 


Considerando la combinación de estos factores, los análisis que se pueden realizar son: 


i) Análisis de la evolución en el grupo de beneficiarios del programa (pre-post) 


Consiste en comparar la situación de los participantes del programa antes de entrar, 


en sus diferentes etapas de implementación y al final de la intervención. 


Este tipo de evaluación no considera a un grupo de control (ya sea definido de 
manera experimental o cuasi-experimental), por lo que no es posible establecer 
correctamente una relación de causalidad entre el programa y los efectos observados. Este 
tipo de análisis no permite aislar otros factores, distintos del programa, que pueden estar 
afectando los resultados que se están evaluando, por lo tanto, no es factible atribuir las 
diferencias asociadas a la evolución del grupo de beneficiarios solamente al efecto del 


programa. 


ii) Comparación entre beneficiarios y no beneficiarios (primeras diferencias) 


Consiste en comparar la situación entre participantes y no participantes en el programa, 
para así evaluar el impacto de éste. Este tipo de evaluaciones se lleva a cabo una vez 
finalizado el programa, es decir, no se cuenta con datos de evolución en el tiempo. Este es 
el tipo de análisis que suele realizarse cuando estamos ante evaluaciones cuasi- 
experimentales, donde la decisión de evaluar fue tomada una vez que el proyecto ya estaba 


en ejecución por lo que no se cuenta con una medición de línea base. 
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Esto podría no parecer un problema ya que, como se mencionó anteriormente, el 
objetivo de construir un grupo de control es asegurar que se cuenta con un grupo de 
individuos estadísticamente similares para realizar la comparación. Sin embargo, al no 
contar con información de resultados de ambos grupos antes de iniciar el programa, 
diferencias encontradas después del programa podrían deberse a diferencias de origen que 
determinan la participación de los individuos en el programa, esto es lo que se conoce como 
autoselección. Cuando el grupo de beneficiarios de un programa no es asignado 
aleatoriamente sino que las personas deciden participar en él, el grupo de beneficiarios 
necesariamente es distinto al de no beneficiarios ya que tienen ciertas características que los 


motivaron a participar. 


Existen diversos métodos estadísticos que permiten aislar estos efectos y obtener 
indicadores de impacto insesgados, entre estos están: i) método de experimentos naturales, 
ii) construcción de grupos artificiales de control vía procedimientos de “matching”, iii) 
identificación de efectos causales por medio de variables instrumentales! y iv) diseños de 


regresión discontinua. 


iii) Comparación entre beneficiarios y no beneficiarios a través del tiempo (diferencias 


en diferencias) 


Es una combinación de las alternativas anteriores, ya que consiste en comparar la situación 
de los beneficiarios y de los no beneficiarios antes y después de la implementación del 
programa. Esta forma es la más recomendada ya que de manera más confiable permite 


atribuir la causalidad de los cambios en relación al programa propuesto. 


Para llevar a cabo este tipo de evaluación es necesario contar, al menos, con una 
medición de línea base (antes de implementar el proyecto) y una medición una vez 
finalizado el programa, para ambos grupos. Así es posible construir lo que se denomina un 


indicador de diferencias en diferencias, donde en primer lugar se mide el cambio en los 


i Ver Heckman (1998) 
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resultados de los individuos antes y después del programa (primera diferencia) y luego se 


compara entre el grupo de beneficiarios y el de control (segundas diferencias). 


Algunos aspectos importantes a considerar: 


O Cuando se lleva a cabo un diseño experimental aleatorio normalmente se cuenta con 
información longitudinal para llevar a cabo la evaluación. Como la evaluación se 
considera desde la etapa de desarrollo del programa es posible considerar la 
construcción de una línea base para la evaluación. En el caso de las evaluaciones 
experimentales, y a condición que los grupos de tratamiento y control sean 
efectivamente comparables, no es estrictamente necesaria la definición de una línea 
de base, aunque esta permite obtener una información más precisa, y sobre todo, 
permite justamente tener mayor certeza respecto de la comparabilidad de la muestra. 

O Cuando se utilizan cuasi-experimentos para implementar una evaluación de impacto 
es menos probable que se cuente con información longitudinal, sin embargo sigue 
siendo factible. Por ejemplo, muchos países aplican test estandarizados de carácter 
censal a sus estudiantes con cierta periodicidad. En estos casos, esta medición puede 
transformarse en la línea base para la evaluación, e incluso, dependiendo de la 
periodicidad de aplicación del instrumento puede utilizarse también como medición 


post-programa. 


b.3. Según el método estadístico que se utiliza para medir impacto 


Existen una serie de métodos estadísticos utilizados para cuantificar el impacto de los 
programas. El uso de estos depende principalmente de la información con la que se cuente, 
de si se cuenta o no con grupo de control y de cómo está definido éste. Dentro de las 


técnicas más utilizadas están: 


i) Método de diferencias en diferencias: sólo es factible cuando se tiene un grupo de 
control y de tratamiento con información de línea base y una vez finalizado el 


programa. 
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ii) Construcción de grupos de control a través de procedimientos de “matching” 
estadístico. 

iii) Identificación de causalidad utilizando metodologías avanzadas de estimación 
como: estimaciones en dos etapas (Heckman), diseños de regresión discontinua 


(regression discontinuity) y modelos de variables instrumentales. 


Es necesario que esta etapa de la evaluación de impacto sea desarrollada por un especialista 


en el tema, con altos niveles de conocimiento de estadísticas y modelos econométricos. 


Un esquema de una evaluación de impacto se presenta en la siguiente figura: 


¿A quiénes vamos a evaluar? 
* Todos los beneficiarios 3 
* Grupo de beneficiarios ¿Cuándo vamos a evaluar? 
* Grupo de control ` 4 
* Levantamiento linea base 
2 * Post implementación del programa 
k 


PASO POR 
pug ¿Qué indicadores evaluar? š 


* Cambio de prácticas pedagógicas 
* Involucramiento 


* Resultados de aprendizaje 
* Desarrollo de habilidades 


are ¿Qué instrumentos vamos a usar? 
* Tests estandarizados 

* Registros administrativos 

yl * Encuestas y entrevistas 

A * Observación en terreno 


PASO : F 
Retroalimentación + 
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IV. DESARROLLO DE UNA EVALUACIÓN DE PROYECTO DE TECNOLOGÍAS PARA LA 


EDUCACIÓN 


El objetivo final de todo proyecto de Tecnologías para la Educación (TEd) debiera ser el 
logro de resultados de aprendizajes y el desarrollo de competencias y habilidades por parte 
de los estudiantes. Sin embargo, para alcanzar este resultado, es necesaria la 
implementación de una serie de procesos en un entorno inicial de insumos, que 
frecuentemente son afectados por las acciones del proyecto. El monitoreo y evaluación de 
estos procesos es un área de trabajo que permite reportar a todos los interesados 
oportunamente sobre los avances del proyecto en dirección al objetivo final esperado y 


tomar decisiones sobre los ajustes que deben ir ejecutándose en el tiempo. 


A continuación describimos las acciones a realizar para llevar a cabo la evaluación 
de este tipo de programas considerando todos los aspectos relevantes, en el contexto del 


Marco Conceptual antes descrito. 


Es importante insistir en que la evaluación es inherente a todas las etapas de un 
proyecto y que idealmente se debe diseñar junto con el proyecto y no después. Sin 
embargo, también es importante recordar que existen mecanismos para la evaluación de 
impacto en aquellos casos en que la existencia de un grupo de beneficiarios y un grupo de 
control no fue considerada desde el diseño del programa. Es decir, si bien ambas 
alternativas son factibles, es siempre preferible (respecto de la calidad de la información 
que se obtendrá) desarrollar una estrategia de evaluación para un proyecto que está en su 


etapa de diseño que de uno que ya está en marcha. 


El objetivo de esta sección es revisar paso a paso la implementación de una 
evaluación de un proyecto de tecnologías para la educación, considerando los indicadores a 
evaluar, los instrumentos necesarios para llevar a cabo la evaluación y los profesionales 


necesarios en cada etapa. 


La figura 2 muestra las etapas asociadas a la implementación de una evaluación de 


un proyecto de tecnologías para la educación. Si bien la figura muestra pasos que parecen 
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consecutivos entre sí, es importante considerar que en la práctica, los pasos del 1 al 4 están 
estrechamente relacionados entre sí y deben considerarse en conjunto a la hora de 


desarrollar una evaluación. 
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Figura 2: Implementación Proceso de Evaluación 
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A continuación describiremos en detalle el proceso de implementación de una 


evaluación de indicadores de insumo y de resultados separadamente. 


4.1 Evaluación de Procesos: Indicadores de Insumos 


Como se mencionó anteriormente la evaluación de procesos es clave en todo proyecto 
ya que permite, entre otras cosas, asegurar que se estén cumpliendo las condiciones para 


el debido desarrollo del proyecto. 
i. Indicadores 


En la tabla 2 se presenta el conjunto de dominios y sub-dominios definidos en el Marco 
Conceptual para los indicadores de insumo. En ésta se observa que son cinco los 


dominios de insumo que debieran considerar el diseño y la evaluación de un proyecto. 


Tabla 2: Indicadores de Insumos 
Dominios Sub-dominios 


1. Políticas Planificación 
Presupuesto 
Comunicaciones 
Incentivos 
Marco legal 


2. Infraestructura 


Conectividad 

Soporte técnico 

3. Contenidos Currículo y TICs 

Recursos educativos digitales 
Plataformas, aplicaciones y servicios 
4. Recursos humanos Formación docente 

Competencias generales TICs 


Uso educativo de TICs 


Apoyo pedagógico 


5. Gestión Administración 


1. 


a) 


b) 


c) 


d) 


a) 


b) 


c) 


Sistemas de información 


Involucramiento de la comunidad 


Fuente: TICs en Educación: Marco Conceptual e Indicadores - BID 


Políticas 


Planificación: Prioridad de mediano y largo plazo del proyecto o del ámbito en el 
contexto de otras iniciativas, planes, proyectos o acciones desarrolladas, 
incluyendo la visibilidad o grado de identificación que tienen los líderes educativos 
con el logro de sus objetivos. 

Presupuesto: Presupuesto de largo plazo considerado para la continuidad operativa 
y el desarrollo de iniciativas complementarias necesarias para el logro de los 
impactos esperados. 

Marco Legal: Acciones destinadas a ajustar y adecuar las normas disponibles con 
el fin de impulsar y mejorar el impacto de la iniciativa y minimizar sus riesgos. 
Incluye las medidas destinadas a mejorar la protección y seguridad de los menores 
de edad, las regulaciones de las industrias asociadas, el resguardo de los derechos 
de autor, etc. 

Incentivos: Planes y Programas para destacar (positiva o negativamente) 
compromiso y los resultados esperados en el proyecto por parte de sus 


participantes. 
Infraestructura 


Física: guarda relación la provisión o disposición de infraestructura necesaria para 
la habilitación del uso y acceso a un sistema de tecnología, que puede ser 1a 1 u 
otra. Conexión eléctrica (múltiples enchufes por salas), redes de comunicaciones, 
salas, mobiliario, etc. 

Equipamiento: Corresponde al conjunto de dispositivos provistos, incluyendo 
computadores, proyectores, impresoras, periféricos y accesorios, y las condiciones 
asociadas a su adquisición y uso (garantía, soporte, niveles de servicio, otros). 
Conectividad: Internet y el acceso a la red son de gran importancia para el 
desarrollo de este tipo de proyectos. El ancho de banda, la estabilidad de la 


conexión, las tecnologías que optimicen el tráfico y provean filtros que protejan la 
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d) 


b) 


b) 


d) 


privacidad y los contenidos a los que acceden los estudiantes, asi como la 
estructuración de redes locales sólidas, seguras y accesibles, son parte de esta 
preocupación. 

Soporte Técnico: guarda relación con la administración, mantención y reparación 
del equipamiento dispuesto, así como las actividades destinadas a la resolución de 


problemas y dudas técnicas por parte de los usuarios participantes del proyecto. 


Contenidos 


Currículo TICs: desarrollo curricular para la implementación y/o adaptación de los 
contenidos acerca de las TICs y acerca de otras materias mediante el uso 
transversal de las TICs. 

Recursos Educativos Digitales: Es necesario contar con material digital destinado a 
la enseñanza y aprendizaje con uso computadores como software educativos, 
recursos digitales, enciclopedias, manuales, textos escolares, libros, guías, etc. 
Plataformas, Aplicaciones y Servicios: incorporación de software o iniciativas de 
apoyo para el desempeño de los procesos de enseñanza y aprendizaje, incluyendo 
aplicaciones de productividad, simuladores, modeladores, etc. También considera 
los mecanismos y medios a través de los cuales serán distribuidos los contenidos 


digitales a los distintos usuarios de los sistemas educativos. 


Recursos Humanos 


Formación docente: Formación inicial y en servicio asociada a la adopción, 
adaptación y actualización de contenidos curriculares y prácticas para la 
integración de los computadores en el proceso de enseñanza aprendizaje. 
Competencias generales TICs: Iniciativas de capacitación para la adquisición y/o 
certificación de destrezas generales en el uso de TICs, formación básica y 
herramientas de productividad y comunicación. 

Uso educativo de TICs: iniciativas de entrenamiento y formación asociadas al uso 
específico de TICs con fines y en contextos educativos. 

Apoyo Pedagógico: esfuerzos para proveer apoyo pedagógico y seguimiento para 
los participantes, orientándolos o desarrollando tutorías en servicio para la 


implementación de las actividades propuestas. 
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5. Gestión 


a) Administración: estructuras y estrategias para la gestión y administración de los 
sistemas y de los proyectos en todos los niveles que se hayan considerado (país, 
región, escuela, departamento), así como la relación con otros actores 
institucionales relacionados con el proyecto (financistas, aliados estratégicos, etc.) 

b) Sistemas de Información: desarrollos destinados a apoyar la implementación de 
sistemas de gestión e información educacional a nivel de escuela, región, o país, así 
como aquellos que permitan dar seguimiento a los proyectos educativos y sus 


actores, incluyendo la gestión curricular y pedagógica. 


Es necesario identificar aquellos indicadores relevantes para la evaluación de cada 
proyecto de tecnologías para la educación, de manera específica. No todos los 
indicadores de insumos definidos en el Marco serán factibles de ser modificados por 
cualquier proyecto, por lo que es fundamental identificar y definir el set de indicadores 
que son factibles de ser afectados por cada iniciativa. Por ejemplo, es posible distinguir 
entre aquellos proyectos que se gestan como una política nacional versus aquellos 
orientados a un grupo específico de la población. En estos últimos los indicadores de 


política no resultan pertinentes. 


Específicamente, los indicadores de infraestructura, contenidos y recursos 
humanos son de gran importancia a la hora de implementar un proyecto tipo dotar de 
tecnología en educación y deben ser constantemente monitoreados para detectar 
posibles problemas en la implementación del proyecto. Por ejemplo, se observa que en 
gran parte de las evaluaciones de proyectos de computación 1 a 1 realizadas en América 
Latina aparece el tema de la falta de capacitación para los docentes para desarrollar 
técnicas pedagógicas usando esta nuevas tecnologías. Idealmente este es un tipo de 
problema que debiera ser detectado en las etapas tempranas del desarrollo del proyecto, 


para así implementar estrategias que permitan dar una solución al tema. 


li. Instrumentos 


Para llevar a cabo la evaluación de procesos y control de gestión de proyectos se 


necesita contar con la información necesaria para construir los indicadores antes 
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descritos. Dentro de los instrumentos que permiten acceder a esta información se 


encuentran: 


a) 


b) 


c) 


Registros administrativos: corresponde a la información que se recolecta a través 


de los procesos administrativos que deben cumplir las unidades educativas ya 
sea para llevar la gestión del establecimiento o por requerimiento de las 
autoridades. La información contable, registros de matrícula, planillas de pago 
de docentes, son ejemplo de registros administrativos con los que cuentan las 
escuelas. 

Encuestas: El objetivo de la encuesta es obtener información relevante para la 
construcción de indicadores a través de un conjunto de preguntas normalizadas. 
Las encuestas pueden estar orientadas a los distintos actores del sistema 
educativo; alumnos, docentes, directivos, apoderados, etc. Las encuestas deben 
aplicarse a una muestra representativa o al conjunto total de la población en 


estudio, para así asegurar la confiabilidad del análisis estadístico de los datos. 


El BID cuenta con tres cuestionarios, disponibles en nuestra web; uno para 
establecimientos educativos, otro para docentes y otro para estudiantes. Estos 
instrumentos capturan 41 indicadores de insumo y 15 de resultados, lo que 


equivale a cerca de un 45% del Marco Conceptual. 


SS ae 


Para la evaluación del programa “Una Laptop por Niño” en Perú se construyeron 
una serie de instrumentos, entre estos se incluyen cuestionarios para: 
estudiantes, familia de los estudiantes, director del establecimiento y docentes. 


También estos instrumentos estan disponibles en la web del BID. 


Entrevistas: Corresponde a un conjunto de preguntas que se pueden realizar a los 
distintos actores del sistema con el objetivo de obtener información más 
detallada del ámbito de estudio. El objetivo de la entrevista no está en la 
representatividad estadística sino en el nivel de profundidad de la información 


recolectada. 


Normalmente se identifican 3 tipos de entrevistas. Primero, están las entrevistas 
estructuradas en las que a todos los entrevistados se les hacen las mismas 


preguntas con la misma formulación y en el mismo orden. Segundo, están las 
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d) 


entrevistas semi-estructuradas, donde el entrevistador dispone de un «guión», 
que recoge los temas a tratar, sin embargo, el orden en el que se abordan los 
diversos temas y el modo de formular las preguntas se dejan a la libre decisión y 
valoración del entrevistador. Finalmente están las entrevistas no estructuradas, 


dónde ni siquiera el contenido de las preguntas está pre-establecidos. 


Para la evaluación de programas se recomienda llevar a cabo entrevistas 
estructuradas, para así asegurar que todas fueron llevadas a cabo bajo los 
mismos procedimientos, lo cual facilita el análisis y asegura la comparabilidad 
de resultados. Específicamente en el caso de la evaluación de programas de TEd, 
estas entrevistas en profundidad debieran realizarse a los docentes y encargados 
de escuelas para obtener información más profunda y detallada de la 
implementación del programa y también de las expectativas y actitudes hacia 
éste. También es ilustrativo el desarrollo de entrevistas estructuradas con 
estudiantes, de manera de conocer los usos específicos que se hacen de los 


insumos provistos por el programa. 


Observación/Inspección: Con la observación en terreno nos referimos 
principalmente a la observación de clases y a escuelas, como medio para 
registrar información respecto del desarrollo del proyecto. Con la observación en 
aula se espera obtener información sobre la modalidad de trabajo, prácticas 
pedagógicas, desempeño docente, uso de diversos recursos (siendo el 
computador uno de ellos), actividades realizadas y adecuación de éstas a los 
recursos utilizados, etc. Las observaciones de aula pueden desarrollarse 
directamente o bien, mediante el registro previo en video y el análisis posterior. 
El observador cuenta con una pauta de cotejo que sirve de guía para la 


observación y la evaluación. 


La inspección de terreno es una inspección técnica que busca obtener 
información respecto de la infraestructura y condiciones técnicas existentes para 
el desarrollo del proyecto: mobiliario, conexiones eléctricas, acceso a Internet y 


calidad del servicio, entre otros. 
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La tabla 3 contiene una lista con algunas de los instrumentos disponibles para 
implementar este tipo de evaluaciones en proyectos de tecnologías para la educación, en 
general, y para proyectos tipo 1 a 1, de manera particular. Algunos son instrumentos 
especialmente desarrollados en un contexto de evaluación de programas de TICs en 
educación, mientras que otros (como los cuestionarios PISA) fueron creados con otros 
objetivos pero permiten obtener información relevante para la construcción de 
indicadores, es decir, pueden utilizarse como insumos para la desarrollo de instrumentos 


propios. 


Tabla 3: Algunos instrumentos disponibles para la evaluación de proceso en 
Proyectos de Tecnologías para la Educación 
Fuente Instrumento 


Encuesta Grupo Educativo Encuesta TICs y educación para encargados 
BID de establecimientos 

Encuesta Grupo Educativo Encuesta TICs y educación para docentes 
BID 


Encuesta Grupo Educativo Encuesta TICs y educación para estudiantes 
BID 


Encuesta BID-Proyecto Peri Cuestionario para la familia 
Encuesta BID-Proyecto Perú Cuestionario para el director 


Encuesta BID-Proyecto Perú Cuestionario para docentes 


Encuesta BID-Proyecto Perú Cuestionario para cursos escolares 


Encuesta OECD Cuestionario PISA establecimientos 
Encuesta OECD Cuestionario PISA padres 


Encuesta OECD Cuestionario PISA estudiantes 
Observación BID-Proyecto Perú Guia de observación de aula 


iii. Equipo de trabajo 


El equipo de trabajo es un componente esencial en toda evaluación de programa. En 
caso que sea necesario aplicar encuestas, entrevistas o realizar inspecciones de terreno 
debe contarse con el personal adecuado para su diseño (en caso que no se utilice un 
instrumento pre-existente) y aplicación. Adicionalmente, se requiere de un equipo 


multidisciplinario de profesionales especialistas, para la construcción de indicadores, 
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análisis de datos e interpretación de resultados. Considerando que el fin último de toda 
evaluación es retroalimentar al sistema se debe contar con profesionales expertos en 
comunicaciones educativas que sean capaces de informar debidamente a todos los 
actores y apoyar en el desarrollo de estrategias para solucionar los problemas 


identificados. 


iv. Síntesis 


Para realizar una adecuada evaluación de los programas de tecnologías para la 
educación es recomendable considerar la mayor cantidad de indicadores posibles, 
seleccionar aquellos que son más relevantes para el programa y su contexto de 
implementación y que estos sean construidos para el universo de escuelas beneficiarias 
del proyecto, ya que el principal objetivo de la evaluación de proceso es medir el grado 
de avance del proyecto e identificar fallas en su implementación, tanto a nivel general 


como particular. 


Dicho de otra manera, la evaluación de gestión y procesos sienta las bases para 
asegurar que la evaluación de impacto se realice sobre proyectos con estándares de 
implementación aceptables, así, en caso que no se encuentre relación entre el proyecto y 
los resultados esperados, se puede tener la certeza que se debe al programa en si mismo 


y no a problemas en su desarrollo. 


4.2 Evaluación de Impacto: Resultados 


i. Indicadores 


Como se ha mencionado anteriormente, el fin último de los proyectos de tecnologías 
para la educación es el mejoramiento significativo en aprendizajes y en las 
competencias necesarias para desenvolverse en un mundo global, todo esto de la mano 
de un cambio en las prácticas educativas y en el involucramiento en los procesos de 


aprendizaje de los actores del sistema escolar, especialmente de los estudiantes. 


En la tabla 4 se presentan los dominios y subdominios de resultados 
considerados en el Marco Conceptual a partir de los cuales se desprenden un conjunto 


de indicadores de resultados. 
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Tabla 4: Indicadores de Resultados 
Dominios Sub-dominios 


1. Cambios en las prácticas Prácticas pedagógicas 
Prácticas de estudio 
2. Involucramiento Matrícula 

Promoción 

Retención 

Asistencia 


Actitudes y Expectativas 


3. Resultados de aprendizaje Puntaje test estandarizados 


4. Habilidades y Competencias Pensamiento crítico 
Resolución de problemas 
Creatividad e innovación 
Comunicación 


Colaboración 


Fuente: TICs en Educación: Marco Conceptual e Indicadores - BID 


1. Cambios en las prácticas 


El uso de las TEd implica la expectativa razonable de que ellas permitirán una 
modificación sustantiva de las prácticas de enseñanza por parte de los docentes, y de las 
prácticas de aprendizaje de los estudiantes. Las oportunidades de acceso y construcción 
del conocimiento que ofrecen las TEd implican, para su aprovechamiento eficaz e 
integral, el desarrollo de nuevas prácticas de gestión educativa, el despliegue de nuevas 


estrategias y metodologías pedagógicas. 


2. Involucramiento 


Parte de los componentes fundamentales de los procesos educativos tienen que ver con 
el compromiso de los estudiantes. Su participación y permanencia en los procesos, es 
condición necesaria para su éxito. Aún más, las motivaciones de los estudiantes y su 
entusiasmo para ser parte de dichos procesos genera impactos positivos, no sólo en los 
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posibles resultados de aprendizaje y desarrollo de determinadas competencias, sino en el 
clima de aprendizaje, en las expectativas de los actores y en los resultados de promoción 


de los estudiantes de un nivel a otro. 


Estos procesos generan además dinámicas de cambio en las motivaciones y 
expectativas de maestros y familias, las que a su vez se retroalimentan con las de los 
propios estudiantes, generando círculos virtuosos o viciosos, según sea el caso, en la 


generación de condiciones para el desarrollo de los aprendizajes. 


3. Resultados de aprendizaje 


El primer ámbito en donde deben buscarse impactos en este tipo de proyectos, es en los 
aprendizajes cognitivos, normalmente asociados a las materias o asignaturas en que se 
subdividen los contenidos curriculares, o bien en metas de aprendizaje o competencias 


esperadas. 


4. Habilidades y competencias 


Es bastante común señalar que el impacto de la introducción de las TICs en los procesos 
educativos se da en el desarrollo de nuevas o mejores competencias y habilidades por 
parte de los estudiantes. Dichas competencias han sido descritas como “habilidades de 
nivel superior” o “competencias del s.XXI” (Severin 2011b) por la importancia que 
tiene su desarrollo en el contexto de desempeño de las personas en la sociedad del 


conocimiento. 


Las Tecnologías de la Información y la Comunicación son un instrumento que 
forma parte habitual de una enorme gama de oportunidades laborales y de desarrollo, 
por lo que su sólo manejo eficaz, puede significar oportunidades de acceso y 
crecimiento personal y profesional, y a nivel agregado, podría hacer diferencia en el 


desarrollo de un país. 


ii. A quiénes vamos a evaluar 


Como se detalló en el capitulo I, es necesario identificar el grupo que será evaluado. 
Hay veces que sólo contamos con información de los beneficiarios del programa y en 


esos casos la evaluación debe realizarse sólo con estos datos. Sin embargo el ideal es 
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contar con un grupo de control, es decir, un grupo de similares características a los 


beneficiarios del programa pero que no haya participado en éste. Como se explicó 


anteriormente, un grupo de control se puede diseñar por medio de experimentos y cuasi- 


experimentos. 


ii. 1 Experimentos aleatorios 


Donde los grupos los de beneficiarios y no beneficiarios se construyen asignando 


aleatoriamente dentro del conjunto elegible para determinado programa. De esta manera 


se asegura, desde los inicios, que se cuenta con un grupo de control que es 


estadísticamente idéntico al grupo de beneficiarios. 


Algunos aspectos importantes de considerar si se quiere implementar este tipo de 


evaluación para programas TEd: 


(0) 


(0) 


Sólo son factibles para proyectos que consideran la evaluación de impacto desde 
sus orígenes, dicho de otra manera, no es factible implementar evaluaciones 
experimentales en programas que ya están siendo ejecutados, dado que su 


característica fundamental es la aleatoriedad en la asignación de beneficiarios. 


Dadas las características de los proyectos TEd no siempre es factible que la 
selección aleatoria se haga a nivel de estudiantes, ya que en muchos casos se 
propone que todos los estudiantes de un mismo curso tengan acceso (o no 
acceso) a un computador para el correcto desarrollo del programa. Por lo tanto, 
la aleatorización se puede realizar a nivel de: curso o nivel, establecimiento, 
comuna o municipio, región. 

Aunque un programa TEd sea diseñado como un proyecto a nivel nacional 
(todas las escuelas, docentes y/o estudiantes del país son los beneficiarios), aún 
así es factible incorporar una metodología experimental en su diseño. Los 
proyectos TEd son muy costosos en una serie de aspectos (recursos, 
capacitación docente, capacitación técnica, etc). En este contexto no es realista 
implementar este tipo de proyectos a nivel nacional de una sola vez sino que 
debe hacerse de modo gradual (lo cual también es recomendable porque permite 


ir aprendiendo de la experiencia). Es esta gradualidad la que permitiría 
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incorporar la asignación aleatoria de beneficiarios (a cualquiera de los niveles 


vistos en el punto anterior). 


11.2 Cuasi-experimentos 


Como se explicó anteriormente no siempre es factible aleatorizar la muestra de 
beneficiarios y no beneficiarios antes de dar inicio a un programa. En este contexto, los 
diseños cuasi-experimentales buscan crear grupos de comparación similares al grupo de 
beneficiarios en aquellos atributos considerados relevantes, creando así un grupo de 


control. 


Para el diseño de un grupo de control para la evaluación ex-post de un programa 
TEd , es necesario encontrar un conjunto de estudiantes que sea similar al grupo de 
beneficiarios en todas aquellas características consideradas relevantes para la 
implementación del programa, por ejemplo: edad, distribución por género, nivel 
socioeconómico, resultados en test estandarizados, entre otras. Clave resulta el contar 
con la información (idealmente bases de datos censales) que nos permitan llevar a cabo 


el diseño de este grupo de control. 


iii. Metodología de análisis 


Como se mencionó anteriormente, la metodología de análisis dependerá del grupo para 
el cuál tenemos información, el período para el cual tenernos información y el alcance 


del programa. Considerando estos factores los análisis que se pueden realizar son: 


iii.1 Análisis de la evolución en el grupo de beneficiarios del programa 


Como se mencionó anteriormente, cuando se lleva a cabo este tipo de análisis es difícil 
establecer una relación de causalidad entre los resultados encontrados y el programa en 
cuestión ya que pueden haber otros aspectos que estén afectando los resultados y no 
podemos controlar por ellos. Por ejemplo, uno de los resultados esperados de los 
programa TEd es una mejora en la motivación de estudiantes reflejada en un aumento 
en las tasas de asistencia escolar. Si paralelamente a este programa se implementa otro 


programa cuyo objetivo es mejorar las tasas de asistencia, por ejemplo, un bono pro- 


34 


retención escolar, no será factible distinguir que parte del aumento observado se debe a 


un programa o el otro. 


iii.2 Primeras diferencias 


Este es el tipo de análisis que se lleva a cabo cuando contamos con sólo una medición 


una vez finalizado el programa, para el grupo de beneficiarios y de control. 


Al evaluar un programa Ted por este mecanismo resulta clave asegurar que el 
grupo de estudiantes/establecimientos del grupo de control es similar al grupo que ha 
sido beneficiado por el programa, y que adicionalmente no han sido partícipes de otras 
iniciativas (de las cuales el grupo de beneficiarios no ha participado) que podrían afectar 
los resultados. Por ejemplo, pensemos que queremos evaluar el impacto de un programa 
TEd en los resultados de los alumnos en matemáticas. Para esto tenemos dos grupos; 
aquellos establecimientos donde se implementó el programa y otro grupo de 
establecimientos similares (en términos de nivel socioeconómico de los alumnos, 
resultados en test estandarizados, condición urbano-rural, etc.) donde no se aplicó el 
programa. A partir de esto podríamos suponer que el simple diferencial en resultado 
promedio de matemáticas de los estudiantes de cada grupo sería un buen indicador del 
impacto del programa TEd implementado, sin embargo, es necesario asegurar que el 
grupo de no beneficiarios no haya participado exclusivamente en algún tipo de política 
orientada a mejorar los resultados de los alumnos, de lo contrario las diferencias 


encontradas no podrían atribuirse sólo al programa TEd. 


En síntesis, es necesario asegurar que tanto el grupo de beneficiarios como no 
beneficiarios son similares en aquellas características esenciales para la evaluación del 
programa y además que no han tenido una participación exclusiva en programas que 


podrían tener un efecto sobre el resultado que se está midiendo. 


iii.3 Diferencias en diferencias 


Como se mencionó en el capítulo I, para llevar a cabo este tipo de análisis es necesario 
contar con información longitudinal lo que permite construir el denominado indicador 


de diferencias en diferencias, donde en primer lugar se mide el cambio en los resultados 
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de los estudiantes antes y después del programa (primera diferencia) y luego se compara 


entre el grupo de beneficiarios y el de control (segundas diferencias). 


Cuando un programa TEd es diseñado de manera experimental es factible 
realizar este tipo de análisis. Sin embargo es muy importante identificar aquellos 
indicadores considerados claves para la evaluación del programa y construir o encontrar 
los instrumentos que nos permitan tener una medición de línea base y después de 


implementado el programa de aquellos indicadores claves. 


También es factible llevar a cabo este tipo de análisis en diseños cuasi- 
experimentales. Volviendo al ejemplo de evaluar el impacto en los resultados en 
matemáticas de un programa TEd, es posible calcular un indicador de diferencias en 
diferencias si tenemos alguna medición estandarizada de resultados en matemáticas 
previa a la implementación del programa, para ambos grupos. Muchos países están 
avanzando a tener mediciones estandarizadas de los resultados de todos los estudiantes 


del sistema educativo periódicamente, por lo que este tipo de evaluación sería factible. 


iv. Instrumentos 


Como ya hemos visto, para llevar a cabo una evaluación de impacto se necesita mucha 
información, tanto para construir los grupos de control como para construir los 


indicadores de resultados. 


Como se mencionó anteriormente, los grupos de control son grupos de 
individuos que tienen, en promedio, las mismas características que el grupo de 
beneficiarios. Dentro de las características que pueden ser consideradas como relevantes 


para construir un grupo de control para un proyecto de tecnologías para la educación: 


Género de los estudiantes 
Edad de los estudiantes 
Composición del hogar 
Educación de los padres 
Tasa de asistencia 

Tasa de repitencia 


Ruralidad 


O O O O O O O 
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O Número de niños por profesor 


O Resultado pruebas estandarizadas 


Estos datos se pueden obtener de diversas fuentes de información, principalmente de 
registros administrativos, encuestas y test estandarizados. Usualmente, los test 
estandarizados son aplicados con cuestionarios para los padres y docentes de los 


alumnos, lo que facilita la caracterización de la familia y de la escuela. 


Para la construcción de los indicadores de resultados se debe recurrir a una serie 
de instrumentos. Para medir cambios en las prácticas, los instrumentos más 
recomendados son las encuestas y la observación de clases. Por su parte, los indicadores 
asociados al involucramiento de los estudiantes se pueden construir utilizando registros 
administrativos como las tasas de matrícula, asistencia, repitencia y retiro, junto con 
encuestas especialmente diseñadas para la medición de motivaciones y expectativas. 
Ahora bien, si lo que se busca es construir indicadores de resultados de aprendizaje, las 
pruebas estandarizadas son el instrumento a utilizar para su construcción, ya sean de 
carácter nacional o internacional. De la misma manera, el desarrollo de habilidades y 
competencias debe medirse a través de pruebas estandarizadas. Esto representa un gran 
desafío ya que implica definir de manera concreta lo que son las “competencias del 


siglo XXI” y proponer instrumentos para medirlas. 


La tabla 2 antes expuesta, contiene una serie de cuestionarios disponibles los que 
pueden ser de utilidad para la construcción de indicadores de resultados en los dominios 
de cambios en las prácticas y de involucramiento de los estudiantes (motivación y 
expectativas). Adicionalmente, la tabla 4 presenta una lista de pruebas disponibles, su 
origen y disponibilidad. Cabe destacar el importante número de instrumentos 


desarrollados para la evaluación del programa “Una laptop por niño” en Perú. 


Tabla 4: Algunos instrumentos para la evaluación de impacto en Proyectos de 
Tecnologías para la Educación 


Fuente Áreas Instrumento 


Pruebas de comprensión lectora (2do, 


- 1 * 
BID-Proyecto Peru | Lectura 3ro, 4to y 6to grado) 


Pruebas lógico matemáticas (2do, 3ro, 


; 2 AERE 
BID-Proyecto Perú Matemáticas 4to y 6to grado) 


Inventario de motivación intrínseca - 


BID-Proyecto Perú | Motivación 
estudiantes 
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BID-Proyecto Perú 


Fluidez verbal 


Prueba de fluidez verbal - estudiantes 


BID-Proyecto Perú | Uso de PC Prueba de uso de laptop por docentes 
OECD Lectura, Matemáticas, | Programme for International Student 
Ciencias Assessment (PISA) 


cil aha Trends in International Mathematics 
IES Matemáticas, Ciencias and Science Study (TIMSS) 
Laboratorio Latinoamericano de 
UNESCO Lenguaje, Matemáticas Evaluación de la Calidad de la 
Educación (LLECE) 
MIDE - UC Lenguaje, Matemáticas E Hes Seol 
Competencias TICs 
Instrumento de medición de 
MIRES H Información, competencias TIC siglo XXI 
comunicación y ética 
Transforming Education: Assessing and 
ATC21S 10 competencias sXXI Teaching 21st Century Skills (en 


proceso) 


* = Estas pruebas están basadas en el Currículo Nacional Peruano. 


v. Equipo de trabajo 


Finalmente, 


por no por eso menos 


importante, 


es necesario considerar los 


requerimientos profesionales asociados al diseño e implementación de una evaluación 


de impacto. Específicamente, se necesitan profesionales con altos niveles de 


conocimientos en materia de muestreo, estadísticas y econometría (estadísticos, 


economistas). Al igual que en la evaluación de procesos, dado que el fin último de toda 


evaluación es retroalimentar el sistema, también es necesario contar un grupo de 


profesionales que puedan transmitir de manera amigable los resultados de esta 


evaluación a los distintos actores de la comunidad educativa. 


38 


V. CONCLUSIONES 


La inversión en TEd en los sistemas educativos es un fenómeno reciente pero que ha 
experimentado un crecimiento enorme en los últimos años. En este contexto, resulta 
imprescindible evaluar tanto los procesos de implementación de estos programas como 
sus resultados para así identificar las condiciones y recursos pedagógicos óptimos para 
que la incorporación de tecnologías a los sistemas de aprendizaje y adicionalmente 


medir el impacto que tiene la tecnología en los estudiantes. 


En este documento se han presentado los diversos mecanismos existentes para la 
implementación de una evaluación de programa. La elección de un mecanismo por 


sobre otro dependerá principalmente de: 


O El tipo de indicadores que interesa evaluar. 

O El tiempo, en términos si se está diseñando la evaluación antes, durante o 
después de la implementación del programa. 

O Elalcance del programa (censal v/s muestral). 


o Información disponible. 


Como hemos visto, idealmente todo proyecto TEd debiera diseñarse incorporando la 
estrategia de evaluación desde sus inicios. Dicho de otra manera, la evaluación de un 
programa es algo que debe pensarse desde el principio, sólo así es posible construir una 
estrategia que asegure la posibilidad de evaluar todos aquellos indicadores considerados 
como claves para el desarrollo del proyecto. Esta estrategia de evaluación debe 
considerar no sólo los aspectos teóricos de la evaluación sino también los prácticos, en 
términos de considerar la manera más efectiva de construir grupos de control, cuales son 
las fuentes de información existentes que pueden utilizarse en el proceso y cuáles son 


los requerimientos profesionales para la implementación de la evaluación. 
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Alianza para la Cero Extinción 

Noveno Aumento General de Capital de Recursos 
Corporación Financiera Internacional 

Derecho de Vía 

Evaluación ambiental 

Estrategia ambiental y social 

Evaluación del impacto ambiental 

Instituto Costarricense de Electricidad 

Electron Investment, S.A. 

Informe de gestión ambiental y social 

Mecanismo Independiente de Consulta e Investigación 
Organización no gubernamental 

Política operativa (Operational policy) 

Plan de acción para la biodiversidad 

Plan de gestión ambiental y social 

Parque Industrial de Caracol 

Programa de seguimiento y evaluación de la biodiversidad 
Términos de Referencia 

Unión Internacional para la Conservación de la Naturaleza 


Valor neto actualizado 
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Glosario 


Área importante para las aves: Área de reconocida importancia mundial como hábitat 
para la protección de poblaciones de aves, por contener un número considerable de 
miembros de una o más especies en peligro de extinción; área que forma parte de una 
serie de sitios que en conjunto contienen especies con distribución o bioma restringidos 
o área que contiene un número excepcional de individuos de una especie migratoria o de 
especies que se congregan. 


Área clave para la biodiversidad (KBA, por sus siglas en inglés): emplazamiento de 
importancia global cuya superficie o cuyas interconexiones son de magnitud tal que 
bastan para mantener poblaciones viables de determinadas especies. Estas áreas se 
seleccionan según la existencia de especies amenazadas a nivel mundial; la existencia de 
especies con distribución restringida; la congregación de especies que se concentran en 
emplazamientos específicos durante una etapa de su ciclo de vida y la existencia de un 
conjunto de especies con bioma restringido. 


Área importante para las plantas: emplazamiento natural o seminatural que posee una 
riqueza botánica excepcional y una variedad extraordinaria de especies vegetales o en 
peligro, o ambas y especies de plantas endémicas o vegetación de gran valor botánico, o 
ambas. 


Área protegida: espacio geográfico bien definido que es reconocido, está dedicado y se 
administra por medios legales u otros medios eficaces para lograr objetivos de 
conservación ambiental en el largo plazo. 


Área “set-aside”: un área de un hábitat dentro del área del proyecto donde se han 
evitado los impactos. 


Biodiversidad [diversidad biológica]: la variabilidad que existe entre los organismos de 
todos los ecosistemas, incluidos entre otros, los terrestres y marinos, y otros ecosistemas 
acuáticos, así como también los sistemas ecológicos de los cuales forman parte. Esto 
incluye la diversidad dentro de las especies, entre especies y de los ecosistemas 
(Convenio sobre Biodiversidad Biológica). 


Características de la biodiversidad: el conjunto de especies, comunidades naturales, 
ecosistemas, servicios ecosistémicos y procesos ecológicos dentro del área de influencia 
directa o indirecta de un proyecto. 


Características fundamentales de la biodiversidad: conjunto de especies, comunidades 
naturales, ecosistemas, servicios ecosistémicos y procesos ecológicos que revisten gran 
importancia y están sujetos al mayor nivel de riesgo dentro del área de influencia del 
proyecto. 


Compensación: conjunto de acciones que llevan a resultados medibles de la 
conservación, diseñados para compensar los impactos residuales en la biodiversidad que 
surgen de las actividades de una operación existente o nueva y que permanecen cuando 
se han aplicado medidas de prevención, minimización y rehabilitación. El offset es un tipo 
de compensación. 


Componente valioso del ecosistema: todo componente del medio ambiente 
considerado importante por el proponente, el público, la comunidad científica o los 
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gobiernos que participan en el proceso de evaluación de los impactos ambientales y 
sociales. La importancia del componente podría determinarse según sus valores 
culturales o su interés científico. 


Degradación: modificación de un hábitat natural crítico u otro tipo de hábitat natural 
que reduce significativamente su capacidad para mantener una población viable de 
especies nativas. 


Evaluación ambiental: expresión general que abarca varios tipos de procesos de 
evaluación, como las de impacto ambiental; las ambientales estratégicas; el análisis 
sociocultural, el análisis ambiental y las auditorías ambientales. 


Evaluación del impacto ambiental: proceso de determinación, predicción, evaluación y 
mitigación de los efectos biofísicos, sociales y otros relevantes de las propuestas de 
desarrollo antes de que se adopten decisiones o compromisos importantes. 


Hábitat natural: entornos biofísicos en los que las comunidades biológicas del 
ecosistema están en gran medida formadas por plantas y especies animales nativas y en 
que la actividad humana no ha modificado esencialmente las funciones ecológicas 
primordiales. 


Hábitat natural crítico: áreas protegidas existentes; áreas que los gobiernos oficialmente 
proponen proteger; emplazamientos cuyas condiciones son esenciales para la viabilidad 
de las áreas mencionadas anteriormente y áreas de reconocido valor que, no obstante, 
no están protegidas. 


Impacto acumulativo: impacto en las características fundamentales de la biodiversidad 
(componentes valiosos del ecosistema que se relacionan con ella) creado por los efectos 
combinados de todos los proyectos pasados, actuales y previstos, independientemente 
de quién haya ejecutado o financiado los otros proyectos. 


Impactos indirectos: impactos en el medio ambiente que no son consecuencia directa 
del proyecto y que en muchos casos se han producido a cierta distancia o como 
consecuencia de un espacio de utilización complejo, A veces se los denomina “impactos 
de segundo o tercer grado” o “impactos secundarios”. 


Jerarquía de mitigación: prevención de impactos ambientales perjudiciales. Cuando el 
impacto es inevitable, se adoptan medidas de mitigación para minimizarlo. Cuando no 
puede evitarse totalmente, se reparan las áreas afectadas negativamente. Deberán 
adoptarse medidas de compensación a los efectos residuales una vez se haya adoptado 
la mitigación, prevención, minimización o rehabilitación. 


Minimización: medidas adoptadas para reducir la duración, intensidad o extensión de 
impactos que no se pueden evitar por completo. 


Offset: los proyectos de offset pretenden restaurar hábitats degradados o 
prevenir/evitar la degradación de esos hábitats para compensar los impactos residuales 
de una operación en características de la biodiversidad que no se pueden abordar 
mediante prevención, minimización y rehabilitación. 


Prevención: acciones tomadas para el diseño espacial o temporal de una operación para 
proteger de impactos a las características de la biodiversidad 
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Principio de precaución: en los casos en que existan riesgos de daño ambiental grave o 
irreversible, la falta de certeza científica no deberá usarse como motivo para posponer la 
adopción de medidas destinadas a prevenir la degradación ambiental. 


Rehabilitación: medidas tomadas para reemplazar o revertir degradación de 
ecosistemas impactados por la operación. 


Servicios ecosistémicos prioritarios: procesos ecosistémicos, bienes y valores que 
ofrecen beneficios para las comunidades humanas y que podrían verse afectados 
considerable y adversamente por un proyecto o que revisten gran importancia para este 
último. 


Sitio de la Alianza para la Cero Extinción (AZE, por sus siglas en inglés): el único 
lugar, identificado por una alianza de 88 organizaciones no gubernamentales de 
conservación de la biodiversidad, en el que aún existen especies consideradas en peligro 
o en peligro crítico de extinción, de acuerdo con las pautas de la Lista Roja de Especies 
Amenazadas de la Unión Internacional para la Conservación de la Naturaleza (UICN). 


Transformación importante del hábitat: eliminación o disminución aguda de la 
integridad de un hábitat natural crítico u otro hábitat natural, causadas por cambios 
importantes a largo plazo en el uso de la tierra o del agua. 
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SECCIÓN l: INTRODUCCIÓN 


1. Protegiendo la biodiversidad y los servicios ecosistémicos en proyectos del Banco 


1.1. Este documento tiene como finalidad proporcionar a los clientes del Banco 
Interamericano de Desarrollo (BID o “el Banco”) - prestatarios, patrocinadores de 
proyectos y agencias ejecutoras - lineamientos de conformidad con las políticas de 
salvaguardias del BID, para abordar los impactos de sus proyectos y programas en 
materia de biodiversidad. Es un trabajo en curso, basado en las políticas de salvaguardias 
del Banco y las mejores prácticas para la evaluación y gestión de los efectos del 
desarrollo en la biodiversidad. Y es dinámico, puesto que será actualizado según los 
resultados obtenidos de su implementación. 


1.2. La región de América Latina y el Caribe (ALC) goza de una biodiversidad 
riquísima. Ésta provee múltiples beneficios a la humanidad. Estos beneficios se 
materializan por medio de los servicios ecosistémicos. Por ejemplo, el suministro de 
alimentos, albergue y agua y aire limpios; la mitigación de los efectos de las tormentas, 
las inundaciones y otros desastres naturales; el control de enfermedades y plagas y el 
mantenimiento de paisajes terrestres y marinos para el bienestar espiritual de las 
personas y para el turismo. El Banco postula que la rica biodiversidad de los países de la 
región proporciona ciertas ventajas comparativas en materia de desarrollo y que esa 
riqueza debe protegerse como fundamento para un desarrollo sostenible en el largo 
plazo. 


1.3. En los países de la región ALC, los cambios y el crecimiento son actualmente muy 
rápidos, debido, principalmente, a la mejora de la infraestructura y al aumento del 
comercio de recursos naturales no renovables y de productos agrícolas. En gran medida, 
este crecimiento tiene lugar en zonas fronterizas, que en el pasado registraron bajos 
niveles de desarrollo y en las que se ubica gran parte de la biodiversidad de la región. Es 
indudable que los proyectos de desarrollo proporcionan beneficios económicos y 
sociales, aunque también pueden tener efectos perjudiciales sobre la biodiversidad y 
pueden trastornar el suministro de servicios ecosistémicos. 


1.4. La estrategia del Banco en el marco del Noveno Aumento General de Recursos 
(BID-9) contempla una labor orientada a reducir la pobreza y la desigualdad y a alentar 
un crecimiento sostenible en ALC. Para ello, postula poner el foco en las necesidades de 
los países más pequeños y menos desarrollados, así como en la promoción del desarrollo 
a través del sector privado. En el marco del BID-9, el Banco ha adoptado medidas 
prioritarias en cinco áreas: 


= Política social para la igualdad y la productividad. 

= Infraestructura para la competitividad y el bienestar social. 

= Instituciones para el crecimiento y el bienestar social. 

= Integración internacional competitiva a nivel regional y mundial. 

= Protección del medio ambiente y respuesta al cambio climático; promoción de 
las energías renovables y aumento de la seguridad alimentaria. 


1.5. En el contexto de estas medidas prioritarias, el BID estableció un programa de 
servicios de biodiversidad y ecosistémicos. Sus objetivos son colaborar con sus socios 
para incorporar el valor económico y la importancia de estos servicios en sectores 
estratégicos de la economía; invertir en la conservación de los ecosistemas más 
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importantes de ALC; fortalecer la gestión ambiental y promover la inversión privada para 
alentar la innovación en materia de planificación y protección ambiental. 


1.6. A partir de lo enunciado anteriormente, este documento presenta directrices para 
orientar a los clientes del BID en el cumplimiento de sus requisitos de política de 
salvaguardias en lo que respecta a la biodiversidad y a los servicios ecosistémicos. Aquí 
se exponen información y métodos detallados para los clientes y consultores que 
preparan evaluaciones ambientales (EA) y planes de gestión, a fin de garantizar que 
aborden adecuadamente los impactos sobre la biodiversidad y los servicios 
ecosistémicos. Estas directrices son aplicables a las operaciones del Banco; a los 
préstamos, donaciones y garantías para proyectos específicos o para programas 
definidos. 
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Cuadro 1: Una especie de caracol se extingue cuando una represa inunda su único hábitat 


El problema. En el marco de la controversia creada por la construcción de una represa 
hidroeléctrica de gran tamaño, un género poco conocido de caracol se deslizó hacia una 
extinción casi inevitable. La evaluación de impacto ambiental (ElA) del proyecto no identificó 
al caracol, que habitaba los rápidos en una sección del Río Paraná, corriente arriba de la 
represa. Por consiguiente, cuando se descubrió su existencia, se tuvieron que diseñar intentos 
para prevenir su extinción sin la extensa planificación previa que se requiere para presas 
hidroeléctricas. 


El proyecto. El proyecto hidroeléctrico de Yacyretá, destinado a producir 3.200 megavatios 
(MW) y situado en el río Paraná, entre Argentina y Paraguay, se financió mediante una serie 
de préstamos del BID, incluidos US$130 millones para abordar los problemas ambientales y 
sociales, que habían dado origen a numerosas críticas. La construcción se inició en 1983 y la 
primera turbina hidroeléctrica comenzó a funcionar en 1994. 


Efectos sobre el hábitat natural crítico. En 1993, cuando se empezó a llenar la represa, los 
biólogos del Museo de Ciencias Naturales de Argentina descubrieron en los rápidos -que ya 
estaban desapareciendo- un gran número de caracoles del género Aylacostoma. Los 
especímenes comprenden cinco tipos morfológicos, de los cuales tres representan especies 
que se habían identificado a comienzos de la década de 1950. Los otros dos se identificaron 
poco antes de inundarse su hábitat. Durante la preparación de la ElA, se había dado por 
supuesto que las plantas y animales de estos rápidos existían también en otras áreas del río 
Paraná. Sin embargo, aunque esta sección de los rápidos no constituía un hábitat especial, era 
esencial para estos caracoles en particular. Este género es vivíparo, lo que significa que, en 
lugar de producir grandes cantidades de huevos y larvas que se propagan por medio de la 
corriente o las aves, los caracoles nacen como adultos en miniatura y comienzan su vida 
pastando algas en las conchas de sus progenitores. Por esta razón, la población nunca se 
propagó a otros rápidos y los caracoles Aylacostoma no podían sobrevivir a la nueva represa. 
Las algas que les sirven de alimento requieren un fondo rocoso con mucha luz y aguas de 
caudal rápido, bien saturadas de oxígeno, condiciones que dejaron de existir cuando los 
rápidos desaparecieron bajo diez metros de agua. Las tres especies de Aylacostoma se 
encuentran actualmente en la Lista Roja de Especies Amenazadas de la UICN consideradas 
extintas en la naturaleza. 


El problema se aborda parcialmente. Con financiamiento de la Entidad Binacional Yacyretá, 
que administra el proyecto hidroeléctrico, se diseñaron acuarios adecuados para la 
supervivencia y reproducción del caracol. Las reintroducciones posteriores han mostrado 
resultados prometedores. 


Lecciones aprendidas. Si bien los caracoles eran abundantes, el corto período asignado a la 
ElA no bastó para realizar los estudios de línea base de biodiversidad que hubieran podido 
determinar su existencia y el hecho de que constituían la única población existente. La 
ejecución de estudios de línea base más amplios antes de la ElA habría aumentado la 
posibilidad de encontrar los caracoles, así como de identificar soluciones para el problema. 
Además, dado que hasta los estudios más amplios pueden ser insuficientes para identificar 
todas las especies de interés, el proyecto hubiera debido incluir financiamiento y mecanismos 
institucionales para realizar una labor continua de seguimiento y manejo adaptativo. Si bien 
este proyecto se finalizó con anterioridad a la formulación de las políticas de salvaguardias 
del BID, es indicativo de los riesgos para la biodiversidad asociados a los proyectos de 
desarrollo. 
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Políticas del Banco relevantes para la biodiversidad 


1.7. Los proyectos financiados por el Banco deben cumplir con los requisitos sobre 
biodiversidad contenidos en las políticas de salvaguardias sociales y ambientales del BID, 
incluidas la Política de Medio Ambiente y Cumplimiento de Salvaguardias (OP-703, 
aprobada en 2006); la Política Operativa sobre Reasentamiento Involuntario (OP-710, 
aprobada en 1998); la Política Operativa sobre Pueblos Indígenas (OP-765, aprobada en 


2006) y la Política de Gestión del Riesgo de Desastres Naturales (OP-704, aprobada en 
2007). 


1.8. La Política de Medio Ambiente y Cumplimiento de Salvaguardias incluye directivas 
e instrucciones sobre el principio de precaución, la preevaluación, las evaluaciones 
ambientales (EA) y la armonización de las actividades de los donantes y está centrada en 
la gestión de los posibles impactos y riesgos de los proyectos sobre la biodiversidad y 
los servicios ecosistémicos. 


1.9. La Política Operativa sobre Reasentamiento Involuntario exige que en los 
programas de reasentamiento se consideren los efectos de un proyecto en las 
modificaciones del acceso a los recursos naturales y su consecuente efecto en la 
subsistencia (véase la página 28, sección IV.G. de Reasentamiento involuntario: política 
operativa y documento de antecedentes). Se exige, además, que los programas de 
reasentamiento incluyan los aspectos ambientales y eviten o mitiguen los efectos en los 
recursos naturales y en las áreas de ecología vulnerable en las zonas de reasentamiento 
(véase la página 31, sección IV.G. de Reasentamiento involuntario: política operativa y 
documento de antecedentes). 


110. La Política Operativa sobre Pueblos Indígenas requiere el uso de mecanismos de 
consulta apropiados y la participación de los pueblos indígenas en las decisiones 
relacionadas con la gestión de recursos naturales y con la distribución de los beneficios 
derivados de su uso (véase la página 8-9 de la Política Operativa sobre Pueblos 
Indígenas en lo que respecta a territorios, tierra y recursos naturales). Esta medida 
reviste especial importancia en los casos en que el acceso a los recursos naturales, como 
la biodiversidad, puede verse afectado por un proyecto, incluyendo la preparación de 
medidas de compensación por pérdida de biodiversidad. La política incluye 
salvaguardias específicas para proyectos que puedan afectar directa o indirectamente la 
situación legal o la posesión o gestión de tierras, territorios o recursos naturales que en el 
pasado eran ocupados o usados por pueblos indígenas (véase la página 8-9 de la Política 
Operativa sobre Pueblos Indígenas en lo que respecta a territorios, tierra y recursos 
naturales). 


1.11. La Política de Gestión del Riesgo de Desastres Naturales exige que se considere 
en qué medida un proyecto podría exacerbar el riesgo para la vida humana, la propiedad, 
el medio ambiente o el proyecto mismo, si produce cambios en la capacidad de los 
ecosistemas para proveer servicios. Un ejemplo de esto es un proyecto que afecte a los 
manglares, que desempeñan un papel esencial para mitigar la fuerza de las tormentas y 
las inundaciones. Esta política hace énfasis en la necesidad de considerar el riesgo del 
cambio climático en los proyectos. En el Convenio sobre Diversidad Biológica se 
reconocen los vínculos existentes entre el cambio climático y la biodiversidad. El cambio 
climático afecta la biodiversidad y puede exacerbar los efectos de un proyecto sobre 
ella. Además, los proyectos, al influir en los servicios ecosistémicos que reducen el 
cambio climático, pueden disminuir la capacidad regional y nacional para mitigarlo. 


1.12. Los proyectos de inversión en agricultura, silvicultura, pesca y minería son 
regulados por las políticas del sector productivo respectivo (OP-721, OP-723, OP-724 y 


4|Página 


OP-725), además de por las políticas de salvaguardias. Las pautas para la inversión en el 
sector agrícola contemplan la necesidad de contribuir al mantenimiento o mejora de la 
base de recursos agrícolas y evitar el deterioro de los factores ambientales de los cuales 
depende. Las pautas para la inversión en silvicultura incluyen la evaluación y gestión de 
los posibles impactos ambientales. Las pautas para la inversión en pesquerías incluyen 
garantías de que los proyectos no tendrán efectos perjudiciales en la conservación de 
recursos naturales. Finalmente, las pautas para la inversión en el sector minero incluyen la 
evaluación y gestión de la contaminación ambiental y los impactos ecológicos adversos 
de los proyectos. 
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Cuadro 2: Requisitos de salvaguardias relacionados con la biodiversidad 


En la introducción a las salvaguardias, sección B, de la OP-703, se menciona la necesidad de 
adoptar un enfoque precautelar frente a los impactos ambientales: donde existen amenazas de 
daño ambiental grave o irreversible, la falta de plena certeza científica no deberá ser utilizada 
como argumento para posponer medidas que prevengan la degradación ambiental. En la 
introducción se exige también la aplicación de una jerarquía de medidas: evitar impactos 
ambientales negativos; cuando éstos sean inevitables, las operaciones financiadas por el Banco 
requerirán medidas de mitigación; cuando el impacto no pueda mitigarse completamente, será 
necesario implementar mecanismos de compensación. 


En la Directiva B1 se indica la necesidad de cumplir con esta política sobre medio ambiente y de 
mantener la coherencia con las disposiciones relevantes de las otras políticas del Banco, incluidas 
la Política Operativa sobre Reasentamiento Involuntario, la Política Operativa sobre Pueblos 
Indígenas, la Política de Gestión del Riesgo de Desastres Naturales y las políticas del sector 
productivo pertinente. 


En la Directiva B2 se señala que el BID requerirá también que el prestatario garantice que la 
operación en cuestión se diseñe y se lleve a cabo cumpliendo con la legislación y las normativas 
ambientales del país en que se está desarrollando la operación, incluidas las obligaciones 
ambientales establecidas bajo los Acuerdos Ambientales Multilaterales (AAM). Esta directiva 
reviste especial importancia cuando los países han establecido mecanismos específicos para 
evaluar los efectos en la biodiversidad y los servicios ecosistémicos; también es importante para 
su gestión. Sin embargo, los requisitos normativos del país o de la región podrían ser menos 
estrictos que los del Banco, lo cual haría necesarios estudios y planes complementarios a los 
exigidos por la ley. 


En la Directiva B3 se destaca que todas las operaciones financiadas por el Banco serán 
previamente evaluadas y clasificadas de acuerdo con sus impactos ambientales potenciales y que 
las propias operaciones del Banco serán clasificadas de acuerdo con su nivel de impacto potencial, 
de modo que puedan definirse las salvaguardias ambientales y los requisitos de revisión ambiental 
apropiados. En el caso de proyectos que, en opinión del Banco, creen problemas complejos de 
biodiversidad, el cliente deberá establecer un cuadro de asesores expertos que provean 
orientación en su formulación y ejecución. 


En la Directiva B4 se establece la necesidad de que el Banco identifique y administre otros 
factores de riesgo que podrían afectar la sostenibilidad ambiental de los proyectos. Estos factores 
pueden incluir la falta de capacidad de gestión ambiental por parte del cliente; la relación entre 
proyectos de cooperación técnica que financian estudios de viabilidad para proyectos de 
infraestructura que podrían tener consecuencias importantes en materia de biodiversidad; 
problemas como el uso de organismos genéticamente modificados y los efectos de los servicios 
conexos no financiados por el Banco. Ejemplos de estos últimos serían los caminos de acceso, las 
líneas de transmisión, las centrales de energía o los servicios de tratamiento de aguas, que podrían 
ser esenciales para el proyecto. 


En la Directiva B5 se señala que la preparación de evaluaciones ambientales, planes de gestión 
asociados y su implementación son responsabilidad del prestatario. La evaluación ambiental 
deberá prepararse con un nivel de detalle adecuado en relación con los posibles efectos y riesgos 
del proyecto o programa. También deberán cumplir con las normas especificadas en las directrices 
de la política ambiental OP-703. Las ElA deberán incluir, como mínimo: evaluación previa y 
caracterización de impactos; consulta adecuada y oportuna y proceso de difusión de información 
y examen de alternativas, entre las que se incluye como opción la alternativa sin proyecto. La ElA 
debe estar respaldada por los análisis económicos de las alternativas al programa y, si 
correspondiera, por evaluaciones económicas de costo-beneficio del impacto ambiental del plan 
y/o de las medidas de protección pertinentes. En esta directiva se estipulan, además, los requisitos 
para los programas de gestión ambiental y social (PGAS), incluidos la base institucional, el 
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reforzamiento de la capacidad, los plazos, los presupuestos, las consultas y los procedimientos de 
seguimiento para el éxito de la implementación. 


En la Directiva B6 se estipula que el proceso de evaluación ambiental deberá incluir consultas con 
las partes interesadas. Estas consultas son esenciales para determinar la amplitud de los 
problemas de biodiversidad y para establecer sistemas para la implementación de los principales 
PGAS relacionados con la diversidad. Ejemplo de ellos son planes de gestión de las medidas de 
compensación. 


En la Directiva B7 se indica que el Banco supervisará el acatamiento de todos los requisitos de 
salvaguardia estipulados en el acuerdo de préstamo y en los reglamentos de crédito u 
operacionales del proyecto por parte de la agencia ejecutora/patrocinador. También, que los 
requisitos de salvaguardia, como es el caso de un PGAS, deberán ser incorporados a los 
documentos contractuales del proyecto, a sus reglamentos de crédito u operacionales o a las 
bases de licitación, según corresponda. Mediante esta incorporación se establecerán los hitos, los 
cronogramas y las correspondientes asignaciones presupuestarias, de manera de implementar y 
supervisar el plan durante el curso del proyecto. 


La Directiva B8 exige la determinación y evaluación de problemas transfronterizos. La 
biodiversidad no está regida por las fronteras políticas y un proyecto podría tener efectos en los 
recursos naturales de países vecinos (por ejemplo, corredores biológicos, sistemas costeros, ríos y 
áreas protegidas transfronterizas). 


En la Directiva B9 se establece que el Banco no apoyará operaciones ni actividades que en su 
opinión conviertan o degraden significativamente hábitats naturales críticos. El Banco tampoco 
respaldará operaciones que involucren una conversión significativa o la degradación de hábitats 
naturales, a menos que i) no existan alternativas viables que el Banco considere aceptables; ii) se 
hayan hecho análisis muy completos que demuestren que los beneficios totales derivados de la 
operación exceden ampliamente sus costos ambientales o iii) se incorporen las medidas de 
mitigación y compensación que el Banco considere aceptables -incluidas, según se requiera, 
aquellas encaminadas a minimizar la pérdida de hábitat y a establecer y mantener un área 
protegida ecológicamente similar- y que estén adecuadamente financiadas, implementadas y 
supervisadas. También se señala que el Banco no apoyará operaciones a través de las cuales se 
introduzcan especies invasoras. 


En la Directiva B10 se indica que el Banco deberá evitar los efectos adversos derivados de la 
producción, la adquisición, el uso y la eliminación de materiales peligrosos y que no financiará 
proyectos que involucren el uso de los plaguicidas tóxicos identificados por la Organización 
Mundial de la Salud (OMS), excepto en casos en que exista la capacidad de gestión adecuada. 


En la Directiva B11 se aborda el problema de la contaminación y se indica que los clientes deberán 
adherirse a las normas establecidas por los bancos multilaterales de desarrollo. La contaminación 
profunda de vías fluviales puede producir importantes cambios en el hábitat acuático, como se 
señala en la Directiva B9. También se menciona la mitigación del cambio climático. 


En la Directiva B15 se indica que, por principio, el Banco respaldará los esfuerzos de convergencia 
y armonización entre instituciones financieras internacionales, donantes bilaterales y otros socios 
de los sectores público y privado. Este principio es importante, dada la publicación, en 2012, de las 
Normas de desempeño sobre sostenibilidad social y ambiental de la Corporación Financiera 
Internacional (CFI); en la norma 6 (“Conservación de la biodiversidad y gestión sostenible de los 
recursos naturales”) se describen mejores prácticas para evaluar y abordar los posibles impactos 
de un proyecto en la biodiversidad y los servicios ecosistémicos vinculados. 
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Gestión de la biodiversidad y los servicios ecosistémicos en proyectos del Banco 


113. El mecanismo más efectivo para gestionar los potenciales impactos y riesgos para 
la biodiversidad y los servicios ecosistémicos es la EA, tomando en consideración la 
identificación y gestión de potenciales impactos sobre y riesgos para la biodiversidad y 
los servicios ecosistémicos. 


1.14. Las evaluaciones ambientales deben: 


Identificar y evaluar los potenciales impactos y riesgos positivos y negativos del 
proyecto en lo que respecta a la biodiversidad y los servicios ecosistémicos. 
Analizar los enfoques para ayudar a evitar o, si no fuera posible, mitigar, reparar 
y compensar los impactos y riesgos potenciales identificados. 

Seleccionar y desarrollar los mecanismos más apropiados para gestionar los 
impactos sobre la biodiversidad y los servicios ecosistémicos. 


1.15. La evaluación y gestión de los potenciales impactos y riesgos para la 
biodiversidad y los servicios ecosistémicos por parte del cliente es un proceso repetitivo 
con seis etapas principales, según lo descripto en este documento de guía: 


Preevaluación y clasificación. Los proyectos se preevalúan a fin de determinar 
sus potenciales impactos y riesgos clave. Seguidamente, pueden clasificarse 
según sus posibles impactos. Esta clasificación permitirá determinar qué tipo de 
EA es más apropiada para cada programa. 

Delimitación del alcance del proyecto. Esta etapa, en que se incorporan los 
puntos de vista iniciales de las partes interesadas, comprende un examen 
completo de la información disponible sobre el área de influencia del plan. 
Durante este proceso, deberán determinarse las características fundamentales 
de la biodiversidad y los servicios ecosistémicos y hacerse un análisis inicial de 
la dependencia de y los efectos sobre dichos servicios. Esta labor deberá 
proveer suficiente información para que el cliente pueda desarrollar términos 
de referencia (TdR) detallados para la EA del proyecto. 

Estudios de línea de base de la biodiversidad. Los TdR para los estudios de linea 
base de biodiversidad se derivan del proceso de delimitación del alcance del 
programa. Estos estudios deberán tener un foco bien definido y ser relevantes 
para comprender las características fundamentales de la biodiversidad en el 
área de influencia del plan, incluyendo los hábitats naturales críticos y las 
especies importantes en materia de conservación. En muchos casos, los 
estudios de línea base de biodiversidad se efectúan sin un análisis cabal de las 
características fundamentales de la biodiversidad y los servicios ecosistémicos. 
En estas circunstancias, o cuando surgen nuevos problemas durante el 
desarrollo del proyecto, el BID podrá requerir estudios complementarios de 
biodiversidad a fin de garantizar el cumplimiento de sus políticas. 

Evaluación de impacto ambiental La evaluación de impactos directos, 
indirectos y acumulativos del programa en la biodiversidad y los servicios 
ecosistémicos en sus áreas de influencia directa e indirecta es la base para 
identificar las medidas destinadas a evitar, mitigar, rehabilitar y compensar. 
Planificación de la gestión ambiental. Los proyectos con impactos y riesgos 
potenciales considerables para la biodiversidad deberán contar con un plan de 
acción para la biodiversidad (PAB) que contenga las propuestas medidas de 
gestión destinadas a evitar, mitigar, rehabilitar y compensar los potenciales 
impactos y riesgos para la biodiversidad y los servicios ecosistémicos. En el 
plan deberán describirse además los mecanismos institucionales para la 
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implementación, incluyendo los necesarios para seguir el avance del programa 
y para un manejo adaptativo. 

= Implementación, seguimiento y presentación de informes de las medidas de 
gestión de la biodiversidad. Durante la implementación deberá hacerse 
seguimiento de las acciones y de los resultados propuestos descriptos en el 
PAB. El Banco usará los informes de seguimiento de los clientes y las misiones 
periódicas de supervisión como fundamento para evaluar el cumplimiento de 
sus salvaguardias ambientales y sociales. 


116. La sincronización de la EA del proyecto con su revisión y el proceso de 
aprobación que hace el BID puede aumentar la posibilidad de lograr la sostenibilidad 
ambiental del plan y potencialmente puede reducir los atrasos en su aprobación. La 
sincronización es especialmente valiosa en el caso de programas con impactos y riesgos 
potenciales considerables para la biodiversidad y los servicios ecosistémicos. También 
cobra relevancia cuando se necesitan un PAB y detallados estudios de referencia 
complementarios en materia de biodiversidad, a fin de documentar y gestionar 
adecuadamente esos potenciales impactos y riesgos. Estos estudios, así como los planes 
acordados, deben incluirse en la propuesta para la formulación de operaciones o en la 
propuesta de préstamo presentada al Directorio Ejecutivo. 


1.17. El Banco y el cliente desempeñan distintas funciones durante las seis etapas del 
ciclo de proyectos (véase la Tabla 1). 
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Tabla 1: Requisitos del BID para la gestión de la biodiversidad durante el ciclo del 
proyecto 


Etapa del 
proyecto en 
el BID 

Preparacion 

del proyecto, 
preevaluacion 
y Clasificación 


Preparación y 
delimitación 
del alcance 
del proyecto 


Preparación 
del proyecto: 
diligencia 
debida 


Finalización 
de los 
documentos 
del proyecto 


Aprobación 
del proyecto 
Acuerdos 
legales sobre 
el proyecto 


Ejecución del 
proyecto 


Terminación 
del proyecto y 
rendición de 
informes 


Información mínima exigida 


por el BID al cliente 


Ubicación y descripción 
del plan y preevaluación 
inicial para identificar las 
características de la 
biodiversidad y cómo se 
verán afectados 


El cliente determina los 
principales impactos sobre 
las características de la 
biodiversidad 

TOR de la EA 


EA del cliente; incluidos, 
según lo prescripto, 
estudios de línea base de 
biodiversidad y un PAB 
El cliente finaliza los 
estudios y planes 
complementarios 
requeridos por el Banco 


El cliente revisa y acepta 
las condiciones 
ambientales y sociales 
incorporadas en las 
propuestas de préstamo y 
el IGAS 


El cliente revisa y 
concuerda con las 
condiciones ambientales y 
sociales incorporadas en el 
contrato de préstamo 

El cliente instrumenta las 
condiciones ambientales y 
sociales contenidas en los 
contratos de préstamo 


Intervención del BID y documentos preparados 


Evaluar si el sitio del programa coincide con áreas 
documentadas con hábitat clave para la 
biodiversidad o características fundamentales de 
la biodiversidad 

El Banco prepara un formulario de preevaluación 
de salvaguardias y un filtro de política de 
salvaguardia; determina el impacto potencial y 
categoriza el proyecto 

El Banco examina la información disponible (que 
puede incluir la evaluación ambiental o los 
términos de referencia para la evaluación 
ambiental) y prepara la estrategia ambiental y 
social (EAS), que incluye el posible impacto, una 
descripción del proceso de diligencia debida y 
posibles planes y estudios complementarios 

El Banco da a conocer el informe de evaluación 
ambiental del cliente en su sitio web antes de 
iniciar la misión de diligencia debida 

El Banco efectúa una labor de diligencia debida 
ambiental y social de conformidad con la 
estrategia correspondiente, a fin de determinar 
posibles áreas de incumplimiento de sus políticas; 
prepara el informe de gestión ambiental y social 
(IGAS), donde se describen los principales efectos 
y se evalúa su trascendencia y se presenta la 
estrategia acordada con la gerencia 

La evaluación ambiental y los estudios 
complementarios deberán garantizar que se 
entienda claramente la importancia de todos los 
principales efectos perjudiciales 

El Banco da a conocer el IGAS acordado y los 
estudios o planes de gestión complementarios 
Los planes de gestión deben ser objeto de 
acuerdo y demostrar ser adecuados (por ejemplo, 
que existe voluntad y capacidad de ejecución) 
para abordar todos los efectos perjudiciales 

La propuesta de préstamo y el IGAS se presentan 
al Directorio Ejecutivo para su aprobación 

El Banco prepara un proyecto de acuerdo 
ambiental para el contrato de préstamo según las 
condiciones acordadas en el IGAS 


El Banco examina los informes de seguimiento 
ambiental y social y efectúa misiones de 
supervisión para asegurar el cumplimiento de las 
condiciones del contrato de préstamo y de la 
política del Banco 

El Banco confirma el cumplimiento de las políticas 
de salvaguardia e identifica las lecciones 
aprendidas durante el proceso 
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Cuadro 3: Un proyecto hidroeléctrico en Panamá confirma la necesidad de presentar al 
Directorio Ejecutivo los planes de evaluación y mitigación de impactos sobre la 
biodiversidad antes de que se apruebe el proyecto 


El problema. El proyecto de construcción de dos centrales hidroeléctricas desató protestas en la 
comunidad y una queja oficial frente al Mecanismo Independiente de Consulta e Investigación 
(MICI) del Banco. La queja se centró en el impacto ambiental del proyecto y en los efectos 
acumulativos del gran número de centrales adicionales en construcción o previstas en el mismo 
río. Se determinó la necesidad de que el prestatario realizara importantes evaluaciones y elaborara 
planes de gestión de la biodiversidad para su presentación al Directorio Ejecutivo del Banco antes 
de aprobarse el proyecto. 


El proyecto. Las dos centrales del programa de energía hidroeléctrica de Pando-Monte Lirio en 
Panamá se están construyendo en el Río Chiriquí Viejo, en la provincia occidental de Chiriquí. El 
proyecto se financia mediante un préstamo del BID de US$40 millones aprobado en 2009, con 
participación también de la Corporación Financiera Internacional (CFI). La construcción está a 
cargo de la empresa Electron Investment, S.A. (EISA). 


Riesgos e impactos potenciales. El plan comprende un desvío de alrededor de 90% del caudal 
anual medio del río, a través de 26 kilómetros de túneles situados a lo largo de 51,5 kilómetros de 
su curso. La disminución del caudal y las dos represas afectarán la migración de peces en el río y 
reducirán un hábitat acuático importante para la nutria de río neotropical, que está incluida en la 
Lista Roja de Especies Amenazadas de la UICN. Este problema se vería agravado por una serie de 
proyectos hidroeléctricos adicionales a lo largo del mismo río, que estaban en etapa de 
construcción o planificación. 


Documentos presentados al Directorio Ejecutivo. La evaluación del proceso ecológico y del 
impacto acumulativo no bastó para estimar eficazmente los efectos del proyecto y la presentación 
no incluyó planes de gestión viables para abordar ese impacto. No obstante, el Banco no modificó 
los plazos originales para la aprobación del proyecto una vez que EISA convino en corregir los 
defectos del estudio a tono con los hitos posteriores del proyecto, incluido el primer desembolso. 
Posteriormente, y a fin de corregir esos defectos, el Banco aseguró la terminación de un análisis 
satisfactorio del proceso ecológico y un plan de gestión y otorgó una subvención para la 
cooperación técnica por US$490.000 para efectuar estudios y elaborar un plan piloto de gestión 
de cuencas hidrográficas en el Río Chiriquí Viejo, a cargo de la Autoridad Nacional del Ambiente 
(ANAM) de Panama. 


Lecciones aprendidas. El proyecto puso de manifiesto la necesidad de contemplar el desarrollo 
en un contexto determinado por la realidad ecológica, no por el área cubierta por dicho proyecto. 
También puso de relieve las oportunidades del Banco para aprovechar mejor las sinergias entre 
sus carteras pública y privada, a fin de que las inversiones del sector público refuercen la 
capacidad de gestión ambiental del país; por ejemplo, para abordar el impacto acumulativo del 
desarrollo del sector de energía hidroeléctrica. Finalmente, en el marco del plan de acción 
aprobado por el Directorio Ejecutivo para abordar el caso presentado al MICI se determinó que, 
antes de presentar una operación para su aprobación por parte del Directorio Ejecutivo, el Banco 
debe contar con lo siguiente: i) una comprensión cabal de las características y la magnitud 
(importancia) de todos los efectos ambientales y sociales perjudiciales y de los riesgos; ii) 
estrategias de mitigación para abordar los principales efectos perjudiciales y los riesgos, que 
satisfagan los requisitos de política pertinentes del Banco y que hayan sido acordados con el 
prestatario y las otras partes relevantes (de haberlas) y iii) la demostración de la voluntad y 
capacidad del prestatario y las otras partes relevantes (de haberlas) para aplicar la estrategia de 
mitigación convenida y de que se cuenta con los recursos necesarios para su implementación. 
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SECCIÓN II: PREEVALUACIÓN Y DELIMITACIÓN DE PROYECTOS 


2. Preevaluación y clasificación de proyectos 


2.1. La preevaluación es un análisis preliminar que hace el cliente de la importancia de 
los impactos y riesgos potenciales de un proyecto y marca el comienzo de un proceso 
para determinar los niveles requeridos de planificación ambiental y gestión. La mayoría 
de las regulaciones nacionales requieren que el cliente efectúe una preevaluación del 
programa, que normalmente dará lugar a una clasificación por parte de la agencia 
reguladora respecto de sus impactos y riesgos potenciales. El BID también preevalúa y 
clasifica los planes que se presentan para su financiamiento. 


Preevaluación del proyecto por parte del cliente 


2.2. La evaluación inicial del impacto potencial de un plan sobre la biodiversidad y los 
servicios ecosistémicos se hace según el tipo de programa y su ubicación. 


2.3. Tipos de proyecto. Los siguientes tipos de proyectos tienen el potencial de 
producir impactos complejos y potencialmente significativos de los tipos directo, 
indirecto, regional o acumulativo: 


= Infraestructura, como nuevas carreteras, ferrovías, sistemas importantes de 
abastecimiento de agua, aeropuertos y puertos. 

= Extracción y distribución de recursos naturales, como las minas y los 
oleoductos y gasoductos. 

= Proyectos agrícolas de gran escala. 

= Proyectos industriales, como las fábricas cementeras, los parques industriales, 
las plantas químicas y las fábricas de celulosa. 

a Producción y distribución de energía mediante represas hidroeléctricas, plantas 
de generación de energía y líneas de transmisión. 


2.4. El impacto de este tipo de proyectos en la biodiversidad abarca los cambios en el 
uso y la superficie de la tierra, la fragmentación del hábitat, efluentes y emisiones que 
afectan al hábitat y la introducción de especies invasoras. Estos programas siempre 
requieren una ElA. 


2.5. Por otro lado, el impacto negativo a corto plazo de los planes que comprenden 
una reconstrucción, rehabilitación o construcción limitadas, o que tienen por finalidad 
proveer asistencia técnica, probablemente sea de carácter local y es probable que sólo 
llegue a requerir una EA o análisis ambiental breves. 


26. Ubicación del proyecto. Los situados en hábitats con características 
fundamentales de la biodiversidad, o que pueden afectar esa biodiversidad, siempre 
requerirán una ElA. La Tabla 2, en el Capítulo 5, contiene ejemplos de características 
fundamentales de la biodiversidad que pueden verse afectados por los programas. 


2.7. Deberá adoptarse un enfoque precautelar en el caso de proyectos propuestos en 
localidades que se consideran vulnerables o cuya población parezca depender de los 
servicios ecosistémicos de la zona. 
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Preevaluación y clasificación de proyectos por parte del Banco 


2.8. Los proyectos respaldados por el Banco se sitúan en una de las siguientes tres 
categorías: 


Los de categoría A tienen impactos ambientales o sociales negativos 
significativos o un profundo impacto sobre los recursos naturales. Éstos 
demandarán una EA (generalmente una ElA que incluye planes específicos de 
gestión y compensación, según se requiera). Si el proyecto tiene efectos 
importantes en la biodiversidad o en los servicios ecosistémicos, los planes 
deberán incluir un PAB. 

Los de categoría B potencialmente tendrán efectos ambientales o sociales de 
carácter local y a corto plazo, para los cuales deberá disponerse de medidas de 
mitigación. En la mayoría de los casos, requerirán un análisis ambiental y social 
centrado en los problemas que hayan sido identificados durante el proceso de 
preevaluación. 

Los de categoría C son aquellos que probablemente no tendrán un impacto 
ambiental o social perjudicial y que no requieren un análisis ambiental o social 
además de la preevaluación y delimitación. No obstante, podrían requerir 
medidas de salvaguardias o incluir requisitos de seguimiento. 


2.9. El cliente deberá proveer la siguiente información para facilitar la labor de 
preevaluación y clasificación del Banco: 


La ubicación geo-referenciada de la huella del proyecto, incluidas las 
instalaciones asociadas, indicadas en un mapa del área que muestre las 
características geográficas del lugar. Esta información puede proveerse al BID 
mediante coordenadas de latitud y longitud, un archivo ArcGIS o un archivo de 
Google Earth (el Anexo A contiene directrices sobre los requisitos del BID para 
la presentación de datos geoespaciales). 

Una descripción del sitio del proyecto, incluidas las referencias a todas las 
características ambientales o sociales especiales del área como los ecosistemas 
importantes o vulnerables, o las especies o áreas naturales de las cuales 
depende la población. La descripción deberá incluir datos sobre la propiedad 
de la tierra y el historial de su uso. 

Una descripción de los principales componentes del proyecto. Ésta debe incluir 
una actualización de estado y un calendario para el programa y la 
determinación de si éste es totalmente nuevo (sin instalaciones anteriores) o si 
se trata de una expansión-rehabilitación. La descripción del plan deberá incluir 
todas las “instalaciones asociadas” -tales como vías de acceso o líneas de 
transmisión- que sean esenciales para que el proyecto funcione, incluso si no 
son financiadas por el Banco. Esta información puede estar disponible en los 
documentos de EA o en los planes de negocio preparados para el proyecto. 
Una descripción de los requisitos de evaluación ambiental y social previos o de 
los estudios hechos para el programa. El cliente deberá enviar al Banco 
archivos electrónicos de las evaluaciones ambientales y sociales -incluidos los 
informes de preevaluación y delimitación, los términos de referencia, las EA o 
los planes de gestión- e indicar quién, en la organización del cliente, es el 
responsable de dar seguimiento a los temas de gestión ambiental y social. 

En muchos casos, cuando los planes se presentan al Banco, las EA ya están 
terminadas o en proceso de elaboración. Por consiguiente, la preevaluación 
avanzará basándose en esos documentos o en otra información disponible. 
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3. Análisis de las alternativas para el proyecto 


3.1. Este análisis deberá comenzar durante la etapa inicial de preevaluación, aunque su 
terminación requerirá información adicional. Es difícil sobreestimar la importancia del 
análisis post hoc de alternativas como mecanismo para evitar los impactos en la 
biodiversidad y los servicios ecosistémicos. 


3.2. Las “alternativas” para un proyecto son los diferentes modos en que pueden 
alcanzarse sus objetivos de implementación. El Banco prefiere alternativas que permitan 
evitar los efectos ambientales perjudiciales, sobre todo en lo que respecta a los hábitats 
naturales. En la directiva B5 de la OP-703 se indica que deben examinarse las alternativas 
existentes, incluida, en la medida de lo posible, la de no iniciar el programa. 


3.3. En la directiva B9 de la OP-703 se indica que, cuando sea posible, los planes 
deberán ejecutarse en sitios que ya hayan sido transformados, en lugar de hacerlo en un 
hábitat natural. Por consiguiente, el análisis de alternativas deberá ser especialmente 
riguroso en los casos en que el programa pueda tener efectos en la biodiversidad y los 
servicios ecosistémicos. El Banco sólo respaldará proyectos que provoquen la 
transformación o degradación profunda de un hábitat natural si no existen alternativas 
viables y aceptables y si se demuestra, por medio de un análisis cabal, que sus beneficios 
globales exceden con creces el costo ambiental. 


3.4. La mejor estrategia para estudiar y evaluar con rigor las alternativas plausibles de 
un programa consiste en incorporar los aspectos de biodiversidad a la planificación 
estratégica sectorial y a la planificación nacional o regional para el uso de la tierra, 
especialmente cuando existen posibles localidades o enfoques alternativos para 
satisfacer las necesidades y propósitos del plan. Por tanto, el Banco recomienda 
encarecidamente, en la consideración de los proyectos, que se realice una planificación 
estratégica sectorial previa, vinculada con una evaluación ambiental estratégica y que se 
adopten enfoques coherentes de planificación regional para el uso de la tierra. 


3.5. El análisis de las alternativas asociadas a las EA tiene dos objetivos principales: 


= Identificar posibles opciones viables que permitan alcanzar en gran medida los 
objetivos del proyecto propuesto o de sus componentes. 

= Evaluar las opciones viables de acuerdo con los criterios de las partes 
interesadas para convenir en una estrategia final del programa, a fin de lograr 
los objetivos fijados de manera eficaz en función de los costos, minimizando los 
efectos ambientales y sociales. 


3.6. En el análisis de alternativas deberán considerarse, también, aquéllas que permitan 
alcanzar resultados equivalentes o similares o que satisfagan las necesidades y objetivos 
del plan. Pueden incluirse las siguientes: 


= Modificar la demanda. Por ejemplo, en lugar de producir más energía con una 
nueva central eléctrica, reducir las pérdidas de energía a nivel nacional. 

a Usar distintos insumos y suministros. Por ejemplo, energía eólica u otros 
métodos de generación en vez de hidroeléctrica, a fin de evitar los impactos de 
una represa o un dique. 

= Actividades alternativas. Por caso, mejorar el transporte público en lugar de 
aumentar la capacidad de las carreteras para mejorar el acceso al centro de la 
ciudad. 

= Localidades alternativas. Por ejemplo, evitar zonas importantes para la 
biodiversidad y realizar proyectos en terrenos que ya han sido transformados 
mediante una mejor planificación regional o mediante el enrutamiento de 
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infraestructuras lineales, tales como la construcción de líneas de transmisión 
alrededor de las zonas protegidas. 

=" Diferentes diseños o tecnologías de procesamiento. Por caso, minimizar el 
desperdicio o mejorar la eficiencia para reducir el impacto; usar centrales 
hidroeléctricas de agua corriente para dar cabida a la migración de peces; usar 
la perforación direccional para instalar tuberías subterráneas o crear pasajes 
para la fauna silvestre en la construcción de caminos. 

= Sincronización alternativa. Por ejemplo, alterar la sincronización de caudales de 
una represa o los horarios de operación de los sistemas de transporte según un 
análisis del comportamiento reproductivo o migratorio de la fauna silvestre. 


3.7. Las consultas y la participación del público son componentes esenciales para el 
análisis de las alternativas para el programa. Éstas deberán incorporarse a las consultas 
con las partes interesadas durante el proceso de delimitación. Entre las principales partes 
interesadas, se incluyen las agencias gubernamentales pertinentes, las organizaciones de 
la sociedad civil (OSC) y las comunidades locales que podrían verse afectadas por el plan 
propuesto. Las consultas deberán centrarse en determinar las posibles alternativas y en 
asegurar que se comprendan cabalmente los potenciales impactos y riesgos. 


3.8. El análisis de las alternativas deberá incluir aquéllas que sean plausibles y permitan 
alcanzar los mismos o similares objetivos fijados para el proyecto o que satisfagan las 
mismas necesidades y que sean viables en los contextos nacional, regional y local. Para 
cada alternativa, el análisis debe comparar y evaluar cada opción propuesta a través del 
diseño, la construcción y la operación, en términos de los criterios acordados con las 
partes interesadas. Estos criterios pueden incluir los requisitos relacionados con la tierra, 
así como los de operación y gestión; la demanda de recursos naturales, como el agua y el 
material de construcción; los plazos para el diseño, la construcción y la operación; la 
compatibilidad con los planes locales, regionales y nacionales; la amplitud y magnitud de 
los impactos directos, indirectos y acumulativos; los requisitos físicos, institucionales y de 
organización; el cumplimiento de los requisitos legales del país y las políticas del Banco y 
los costos de capital y gastos ordinarios del plan, así como las medidas de mitigación 
asociadas a él. 


3.9. En el análisis de alternativas deberá presentarse un resumen de datos cualitativos 
y Cuantitativos para todas las opciones propuestas, teniendo en cuenta los criterios para 
la toma de decisiones. En los casos en que los impactos ambientales y sociales de las 
distintas opciones propuestas sean similares, los factores técnicos y económicos 
determinarán en general cuál es la opción final. Cuando sea difícil seleccionar la mejor 
opción, podría ser más apropiado usar un enfoque sistemático basado en la clasificación, 
calificación, escala y ponderación de los criterios. El análisis final de alternativas deberá 
incluir una justificación clara de la selección del proyecto propuesto y del diseño, e incluir 
opciones generales de gestión. 
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Cuadro 4: La especificación del impacto de una línea de transmisión tiene por 
consecuencia el uso de rutas alternativas 


El problema. La ruta seleccionada para un proyecto de construcción de una línea de 
transmisión eléctrica propuesto al Banco para su financiamiento presentaba importantes 
riesgos para un hábitat natural crítico. 


El proyecto. La línea transmitirá electricidad desde la central hidroeléctrica de Yacyretá, 
situada en el río Paraná, entre Paraguay y Argentina, hasta la zona metropolitana de 
Asunción. El programa original para construir líneas de transmisión a Asunción fue preparado 
para ser financiado por el Banco en 1996, junto con una evaluación del impacto ambiental. No 
obstante, el plan no continuó y el gobierno no obtuvo el derecho de vía (DDV) necesario para 
las líneas de transmisión. En 2011, el gobierno de Paraguay presentó nuevamente el proyecto 
al Banco. 


Riesgos e impactos potenciales. El programa se clasificó en la categoría A, pues el Banco 
determinó que el DDV propuesto originalmente se traduciría en la pérdida de 1.000 hectáreas 
de bosque atlántico, uno de los ecosistemas más vulnerables de América del Sur. El plan 
crearía también riesgos para ciertas especies de aves. Se preparó una ElA para estudiar rutas 
alternativas a fin de minimizar la destrucción de hábitat y evitar zonas pobladas. 


Se propone una ruta de menor impacto. En la ElA se analizaron cuatro rutas alternativas. 
Una de ellas cruzaría la cuenca hidrográfica del Lago Ypacaraí y la zona de amortiguación del 
Parque Nacional Ypacaraí, que provee servicios ecosistémicos para la población del área. Dos 
rutas cruzarían el hábitat de especies endémicas que habitan zonas montañosas. La ruta 
recomendada en el estudio es la más larga, pero permitiría evitar áreas protegidas, culturales 
y pobladas. El Banco solicitó además que se adoptaran nuevas prácticas para preparar el 
DDV para minimizar el impacto en los habitantes, como el desmonte limitado de áreas 
situadas directamente bajo las líneas de transmisión y la remoción de los árboles más altos, 
exclusivamente. También se minimizaría la perturbación del suelo, a fin de reducir la 
colonización de especies no nativas. Las zonas deforestadas serían compensadas mediante la 
plantación de especies nativas en otras áreas por parte de municipalidades, organizaciones 
no gubernamentales (ONG) y escuelas, con la utilización de semillas producidas en viveros. Si 
bien la ruta seleccionada evitará las áreas forestales, atraviesa algunos humedales y praderas 
en peligro. Un biólogo estudió las posibles amenazas para las aves -endémicas y de otros 
tipos- y determinó que éstas generalmente no vuelan lo suficientemente alto como para crear 
riesgos de colisión con las líneas de transmisión. De hecho, el DDV permitirá proteger los 
hábitats de las praderas al prevenir la entrada de la agricultura y los pastos invasivos. En el 
estudio de alternativas se examinó, además, el impacto de la línea de transmisión en las áreas 
por donde cruza el río Paraguay, que las aves usan como ruta migratoria. Ciertos grupos no 
gubernamentales estudiarán la frecuencia de las colisiones con las líneas de transmisión y se 
instalarán indicadores en las líneas para alertar a las aves y los murciélagos. 


Lecciones aprendidas. El estudio de alternativas demostró que un análisis exhaustivo puede 
reducir los impactos ambientales y el costo del proyecto. Desde el punto de vista de la 
ingeniería, la alternativa más barata era la ruta más corta. Sin embargo, los efectos sociales y 
ambientales resultantes habrían desatado una fuerte oposición, lo cual probablemente habría 
producido costosos retrasos. Si bien el estudio de alternativas atrasó la presentación al 
Directorio Ejecutivo del Banco, la ruta más larga, seleccionada en último término, fue 
probablemente la más viable desde el punto de vista económico y ambiental. 
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4. Preparación de un análisis de costo-beneficio 


4.1. La necesidad de hacer un exhaustivo análisis de costo-beneficio (ACB) para un 
proyecto deberá identificarse a comienzos del proceso de preevaluación. Esto puede 
ayudar a asegurar su contribución al proceso de toma de decisiones. Los programas de 
categoría A, así como los que tengan un impacto considerable sobre el hábitat natural, 
requerirán necesariamente un ACB detallado. 


4.2. El ACB tiene como finalidad demostrar que los beneficios globales del plan son 
muy superiores a los costos ambientales. Este análisis consiste en una valoración 
económica que examina la generación de beneficios económicos y los costos de un 
proyecto mediante la comparación de los flujos descontados de beneficios y costos en 
un horizonte temporal definido. De ser posible, este estudio deberá integrarse al ACB 
global del programa. 


4.3. Un ACB detallado es una ampliación del ACB estándar para un proyecto, pues 
incluye estimaciones monetizadas de costos y beneficios ambientales. Abarca los costos 
y beneficios de externalidades ambientales y sociales negativas y positivas. Las 
externalidades económicas se producen cuando un plan tiene un impacto sobre 
individuos que no forman parte del proceso de toma de decisiones. Por ejemplo, se 
generan externalidades si una fábrica produce emisiones que afectan a personas situadas 
fuera del área del programa o si un dique afecta el uso del río aguas arriba. Las 
externalidades pueden ser positivas o negativas. Las negativas pueden abordarse 
evitándolas o compensándolas con medidas que las invaliden o las internalicen. 


4.4. Preparar un ACB se necesita la siguiente información: El período del proyecto, su 
tasa de descuento y el valor monetario de sus beneficios y costos para cada año. 


4.5. Se pueden usar varias técnicas de valoración económica para determinar el valor 
monetario de las externalidades. La selección del método más adecuado dependerá del 
tipo de externalidad, de los datos y recursos disponibles, del tiempo que haya para el 
análisis y de las capacidades del analista. Si bien cada programa es único, los 
economistas ambientales coinciden en que ciertas técnicas específicas de valoración son 
más apropiadas que otras para valorar bienes y servicios ambientales. (Gráfico 1). 


4.6. La valoración económica es más fácil cuando una externalidad ambiental genera 
un cambio en la producción de bienes y servicios cuyo precio de mercado puede 
cuantificarse. Ejemplos de externalidades relativamente fáciles de medir incluyen 
cambios en la producción de recursos naturales o servicios ecosistémicos; contaminación 
atmosférica y del agua, que afectan la salud humana y la productividad; costo de 
producción alternativa o de acciones de gestión y costo de usar el medio ambiente para 
fines recreativos. Esto es más difícil en el caso de las externalidades que afectan la 
biodiversidad o un hábitat prístino, valores culturales o históricos o la vida humana. Es 
especialmente complicado aplicar la valoración económica a situaciones como los 
valores genéticos o la pérdida de valor asociada a la extinción de especies. 


4.7. El Banco exige que un ACB exhaustivo sea preparado por un economista 
ambiental o por economistas con experiencia en cuestiones ambientales. Esa experiencia 
es fundamental; pues las decisiones sobre las externalidades que deben incluirse o 
excluirse y las técnicas de valoración económica que deben usarse pueden tener 
importantes consecuencias para los resultados del análisis. Es igualmente importante que 
la persona a cargo del ACB participe en el proyecto, desde la etapa de diseño. El 
borrador del ACB deberá ser examinado por al menos un economista ambiental de igual 
nivel que el economista que lo preparó. 
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Gráfico 1: Diagrama de correspondencia entre las técnicas de valoración y los tipos de externalidad ambiental 
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Cuadro 5: Un análisis exhaustivo de costo-beneficio para un proyecto en Costa Rica 
confirma que los beneficios exceden a los costos 


El problema. El Proyecto Hidroeléctrico Reventazón proveerá importantes beneficios para 
Costa Rica, pero eliminará la última sección del Río Reventazón con caudal libre y tendrá un 
impacto en el corredor biológico. El Banco decidió determinar si el valor de los beneficios 
globales del proyecto (el costo ambiental y el rendimiento económico) excedía al de los 
costos ambientales. 


El proyecto. Está situado en el curso bajo del río Reventazón, río abajo de tres proyectos 
hidroeléctricos ya existentes. El financiamiento incluye US$298 millones en préstamos del 
Banco. Las obras comprenden un dique de 130 metros de altura que creará un embalse de 6,9 
kilómetros cuadrados y 8 kilómetros de largo; así como un desvío de 4,2 kilómetros del río 
entre el dique y la central eléctrica. La central tendrá una capacidad de generación de 305 
megavatios (MW). La ejecución está a cargo del Instituto Costarricense de Electricidad (ICE), 
la empresa nacional de electricidad. 


Riesgos e impactos potenciales. El plan se preparó usando un análisis estándar de costo- 
beneficio mediante el cual fue evaluado como una inversión financiera; se analizaron los 
futuros productos y beneficios y se los descontó, a fin de determinar si el valor actual de los 
beneficios excedía el costo actualizado. Puesto que el proyecto se clasificó en la categoría A, 
el ICE debió preparar una evaluación del impacto ambiental para cumplir con las directivas de 
política del Banco. Según la directiva B.5, la ElA debía incluir un análisis completo de costo- 
beneficio de los impactos ambientales y sociales que se produjeran fuera de los plazos fijados 
para la ejecución. Se generaría una transformación importante del Río Reventazón, que es un 
hábitat natural. Por lo tanto, el Banco efectuó un análisis costo-beneficio exhaustivo para 
cuantificar en dólares las pérdidas ambientales derivadas del programa; sobre todo la de 
hábitat en aguas con caudal libre y el impacto en el corredor biológico, así como también los 
efectos en hábitats situados aguas abajo. 


Conclusión del estudio. El exhaustivo análisis costo-beneficio se hizo de acuerdo con datos 
disponibles para determinar los principales impactos ambientales y el costo estimado, 
tomando en cuenta las medidas de mitigación contenidas en la ElA. Se comprobó que el plan 
de gestión propuesto para rehabilitar y mantener las conexiones en el corredor biológico en 
el extremo de la represa tendrá un costo de US$2,7 millones durante el período 2013-15 y que 
a partir de entonces los gastos recurrentes ascenderían a US$445.000. La transformación de 
esta sección de río de caudal libre en un embalse será compensada (offset) mediante la 
conservación de un sistema fluvial comparable, con un costo de US$2,66 millones en el 
período 2013-15 y, posteriormente, con un costo anual de US$780.000. Según el análisis 
costo-beneficio, el valor neto actualizado (VNA) del programa asciende a US$96,85 millones. 
De acuerdo con un segundo cálculo del VNA, que incluye el costo de los impactos, pero no 
los beneficios obtenidos de su mitigación, el VNA se reduce a US$88,99 millones. Al aplicar el 
enfoque estándar de costo-beneficio, el VNA calculado es de US$115,16 millones. Las 
diferencias entre los tres VNA calculados son pequeñas, debido a que se evitaron varios de 
los posibles costos ambientales importantes normalmente producidos por los proyectos 
hidroeléctricos, como el reasentamiento en gran escala. 


Lecciones aprendidas. El análisis costo-beneficio ex post del Banco confirmó los beneficios 
derivados del programa. No obstante, en general estos análisis deberán efectuarse ex ante 
con objeto de ayudar a determinar las oportunidades para evitar el impacto ambiental y 
reducir la posibilidad de tener que hacer costosas modificaciones en el diseño del proyecto 
en una etapa posterior. En el caso de planes con impactos importantes en el hábitat natural, 
el Banco requiere que se haga un exhaustivo análisis costo-beneficio ex ante. 
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5. Delimitación de problemas relacionados con la biodiversidad y los servicios 
ecosistémicos 


5.1. Bajo muchas legislaciones nacionales, los clientes están obligados a emprender un 
proceso de delimitación del alcance de un proyecto, previo al desarrollo de la EA. Ésta 
puede ayudar a centrar las actividades de la EA en la solución de los problemas más 
importantes asociados a un programa. La delimitación de su alcance es un paso 
importante para la gestión efectiva de los impactos sobre la biodiversidad. 


5:2 El proceso de delimitación del proyecto que efectúa el cliente cumple dos 
propósitos importantes: 


= Identificar sus impactos ambientales y sociales potenciales. 
s Preparar los términos de referencia (TdR) para la EA, ocupándose 
principalmente de los problemas más importantes. 


5.3. Una labor efectiva de delimitación deberá incluir un reconocimiento de la zona del 
programa, con un equipo multidisciplinario. El equipo deberá revisar los estudios de 
viabilidad del plan, sus alternativas y la información disponible sobre la biodiversidad y 
los servicios ecosistémicos existentes en su área de influencia. 


5.4. La delimitación del proyecto deberá ser un proceso participativo, e implicar 
consultas con las partes interesadas. Esto incluye a las comunidades locales que podrían 
verse afectadas; a especialistas conocedores de los aspectos ambientales y sociales de la 
zona; a representantes del gobierno local; a las organizaciones de la sociedad civil y a las 
agencias reguladoras. El informe de delimitación deberá demostrar que el cliente se ha 
esforzado por lograr un consenso con las partes interesadas en lo que respecta al 
enfoque para los TdR de la EA y al foco de atención de los estudios de línea base de 
biodiversidad. 


5.5. El proceso de delimitación se inicia con un documento de resumen que contiene la 
siguiente información: descripción del proyecto, incluidos su magnitud, sus plazos y la 
frecuencia de las actividades; alternativas; ubicación; área de influencia; análisis 
preliminar de los potenciales impactos ambientales y sociales, incluidos su escala 
espacial y temporal y una descripción del enfoque para las consultas públicas. Este 
documento es el fundamento para las deliberaciones y puede combinarse con matrices o 
listas de control (véase el Anexo B), a fin de centrar los TdR para la EA en los temas más 
importantes. 


5.6. El informe final de delimitación deberá identificar las características 
fundamentales de la biodiversidad -entre ellos, los servicios ecosistémicos prioritarios en 
el área de influencia- y en él deberán describirse los potenciales impactos y riesgos. 
También deberá especificar las brechas de información en el conocimiento, así como 
cualquiera de los estudios específicos que sean necesarios para comprender los impactos 
potenciales sobre la biodiversidad y los servicios ecosistémicos. 


5.7. En el informe de delimitación y los TdR para la EA deberán definirse las 
necesidades y el alcance de los estudios de línea base de biodiversidad y los servicios 
ecosistémicos; incluirse las metodologías propuestas y los sistemas de muestreo y 
establecerse el punto central de la evaluación y gestión de los impactos sobre la 
biodiversidad y los servicios ecosistémicos. 
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Identificación y análisis de los servicios ecosistémicos prioritarios 


5.8. Durante el proceso de delimitación del alcance del proyecto, el cliente deberá 
identificar qué servicios ecosistémicos prioritarios en el área de influencia podrían verse 
afectados o podrían ser importantes para alcanzar sus objetivos en un marco de 
desarrollo sostenible. Los servicios ecosistémicos prioritarios son definidos como 
procesos, bienes y valores ecosistémicos que proveen beneficios para las comunidades 
humanas y que podrían verse afectados de manera significativa y adversa por el 
proyecto o de los cuales éste depende considerablemente. (Véase Ecosystem Review for 
Impact Assessment: Introduction and Guide for Scoping y Weaving Ecosystem Services 
into Impact Assessment, del World Resources Institute y la Nota de orientación 6 de las 
Normas de desempeño de la CFl. En la mayoría de los programas, estos servicios se 
centran en el carbono, el agua y la biodiversidad. 


5.9. El Banco reconoce y salvaguarda la función de los hábitats naturales en la 
prestación de los servicios ecológicos necesarios para lograr un desarrollo humano 
sostenible, como son el aprovisionamiento de beneficios, los servicios regulatorios, los 
servicios culturales y los servicios de apoyo y en el soporte a la integridad funcional de 
los ecosistemas. La OP-703 se refiere a servicios ecológicos tales como la recarga de 
acuíferos, el mantenimiento de la pesca y de los manglares y otros ecosistemas que 
ayudan a prevenir o mitigar los riesgos y a mantener los activos naturales. 


5.10. Los proyectos pueden afectar el suministro de servicios a otros beneficiarios, pero 
también pueden beneficiarse de los servicios ecosistémicos. La degradación de los 
servicios causada por un programa puede crear problemas legales, operativos, 
financieros y de reputación para los clientes. Si bien existe una tendencia predominante 
hacia la inclusión de los valores de los servicios ecosistémicos en la toma de decisiones 
en el sector público y privado, esto no se manifiesta en la gestión de planes individuales. 
En lo que respecta a la toma de decisiones por parte del Banco, es importante 
comprender los costos y beneficios de la relación que existe entre los programas y los 
servicios ecosistémicos, tal como se indica en la OP-703. 


5.11. El análisis y la descripción de los servicios ecosistémicos puede hacerse a partir de 
enfoques cualitativos, cuantitativos y monetarios que proveen información 
complementaria. Los análisis cualitativos sirven para determinar la amplitud de los 
servicios, así como también la identidad de los beneficiarios y usuarios, y para 
documentar el flujo de los servicios desde la fuente hasta los destinatarios. Los 
cuantitativos se centran en los flujos materiales y energéticos de un ecosistema y 
proporcionan estimaciones numéricas de los flujos y la distribución entre los 
beneficiarios. Las valoraciones monetarias son estimaciones del valor efectivo de un 
servicio, para lo cual se usan metodologías estándares de economía ambiental, tales 
como la de valoración de uso directo, los costos evitados, los costos alternativos o la 
disposición a pagar. 


5.12. En los casos en que es probable que un proyecto afecte el suministro de servicios 
ecosistémicos a los beneficiarios, o cuando el programa dependa directamente de esos 
servicios, el cliente deberá incluir un análisis cualitativo de los servicios ecosistémicos en 
el proceso de delimitación del alcance del plan. Esta labor deberá tener carácter 
participativo y correr en forma paralela con el proceso de delimitación del alcance del 
proyecto. También deberá comprender la participación de los beneficiarios, en especial 
de las comunidades locales y la población indígena, así como la de los especialistas 
técnicos en cuestiones ambientales y sociales. 
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5.13. En el análisis cualitativo de los servicios ecosistémicos deberán documentarse las 
fuentes, los flujos y los beneficiarios (incluido el proyecto) de servicios ecosistémicos que 
son relevantes en el área de influencia directa e indirecta del plan. También deberá 
determinarse en qué medida los beneficiarios dependen de esos servicios y describirse la 
evolución reciente del suministro de servicios (incluyendo los impulsores del cambio), así 
como los cambios potenciales -y su magnitud- que podrían ocurrir debido al programa. 
Además, el análisis cualitativo deberá tomar en cuenta a los beneficiarios de los servicios 
que habitan áreas distintas de la del plan, e incluir los servicios no instrumentales y no 
materiales. 


5.14. El análisis deberá contener esta información, amén de una descripción de los 
principales impactos y riesgos sociales, operativos, financieros, regulatorios y de 
reputación sobre los servicios ecosistémicos relacionados con el proyecto. El cliente 
deberá aplicar también una jerarquía de mitigación e identificar las acciones requeridas 
para minimizar los impactos en los servicios ecosistémicos identificados. 


5.15. En los casos donde es probable que el impacto sea significativo, el Banco requiere 
que el cliente efectúe un análisis cualitativo similar al modelo de análisis de servicios 
ecosistémicos de la CFI (Ecosystem Services Review Template, Guidance Note 6) y del 
documento Ecosystem Service Review for Impact Assessment del World Resources 
Institute. El Banco recomienda -pero no exige- que el cliente utilice herramientas más 
sofisticadas de análisis, incluidos los sistemas ARIES, INVEST y MIMES, que permiten 
modelar el flujo de servicios ecosistémicos y los impactos del proyecto y presentar los 
resultados de manera más conveniente a fin de facilitar la toma de decisiones. 


Sentar los fundamentos para los estudios de línea base de biodiversidad 


5.16. Como parte del proceso para establecer los TAR para la EA, el cliente deberá 
hacer lo siguiente: 


= Determinar el alcance espacial del área de estudio. 

= Revisar la información disponible y efectuar consultas con las partes 
interesadas. 

= Identificar las características fundamentales de la biodiversidad, incluidos los 
servicios ecosistémicos prioritarios. 

a Definir los potenciales impactos y riesgos significativos asociados al proyecto. 


5.17. La inversión de tiempo y recursos en el diseño de los TdR para el estudio de linea 
base de la biodiversidad asegurará un uso eficiente de los recursos y de la aplicación de 
esfuerzos, para que las indagaciones se centren en los aspectos ecológicos y en los 
impactos y riesgos más importantes, en lugar de reunir información irrelevante de 
manera aleatoria. 


5.18. Si el proyecto se encuentra en sus etapas iniciales de desarrollo, el cliente deberá 
proveer al Banco los resultados del proceso de delimitación de su alcance y los TdR 
propuestos para los estudios de línea base de biodiversidad antes de iniciar las tareas. 
Esto dará al Banco una oportunidad para determinar las potenciales deficiencias en el 
trabajo propuesto. El Anexo C contiene una lista de control para examinar el contenido 
de los TdR y el informe final para los estudios de linea base de biodiversidad. 


5.19. Establecer una apropiada línea de base de biodiversidad para un proyecto es un 
proceso repetitivo. Conforme avanza el estudio de línea base de biodiversidad, puede 
surgir información adicional que requiera estudios más profundos de una especie o 
hábitat en particular. Por ejemplo, una especie nueva para la ciencia puede ser 
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encontrada en el área de influencia directa y requerir estudios adicionales fuera del área 
de influencia, a fin de evaluar el significado de los impactos y riesgos. 


Definir el alcance espacial de los estudios de línea base de biodiversidad 


5.20. El área de estudio de la línea de base de biodiversidad deberá incluir aquellas 
áreas que podrían verse afectadas por el proyecto y por las instalaciones que lo 
respalden. La delimitación inicial del alcance del programa para los estudios de línea base 
podría necesitar ser refinada, en el caso que la información recopilada durante el análisis 
requiriera estudios adicionales para determinar el estado de conservación de una especie 
o un hábitat o para entender la importancia de los impactos y los riesgos. 


5.21. Los principales impactos de un proyecto sobre la biodiversidad pueden ocurrir 
indirectamente, a causa de factores como: el aumento de las presiones por el uso de 
recursos; el establecimiento de nuevas vías de acceso; el cambio de demanda de los 
recursos por parte de la población que es atraída a trabajar en una nueva zona; el 
suministro de equipo que puede ser desplegado en una gran superficie o afectando los 
sistemas migratorios que pueden modificar la ecología de las zonas distantes. La 
definición del área de influencia indirecta deberá tener en cuenta los posibles impactos 
indirectos más importantes. 


5.22. Del mismo modo, las áreas afectadas por los impactos acumulativos podrían 
extenderse mucho más allá del área de influencia directa e indirecta del programa. 


5.23. Si es posible que el plan requiera medidas para compensar (offset) la pérdida de 
biodiversidad, será importante incluir los sitios propuestos para hacer dichas 
compensaciones en el estudio de línea base de biodiversidad. 


5.24. En algunos casos, el estudio de línea base de biodiversidad deberá incluir también 
los sitios que puedan usarse como controles comparativos o referencias para supervisar 
los impactos del proyecto a largo plazo. 


Análisis y evaluación de la información disponible sobre biodiversidad y servicios 
ecosistémicos 


5.25. El cliente deberá sintetizar la información disponible sobre biodiversidad en el 
área de influencia, recurriendo al examen de publicaciones existentes, bases de datos y 
estudios no publicados, además de a consultas con especialistas clave de la región y de 
otros países que conozcan las especies y el hábitat. 


5.26. Esta evaluación inicial deberá incluir lo siguiente: 


a Un análisis de las EA existentes u otros estudios relevantes para el área de 
influencia. 

= Una descripción de la biogeografía y del paisaje en el área de influencia. 

= La determinación de especies incluidas en la Lista Roja de Especies 
Amenazadas de la UICN, en las categorías de “casi amenazada”, “vulnerable”, 
“en peligro” o “en peligro crítico” de extinción, que existen o es probable que 
existan en el área de influencia del proyecto. 

= Una identificación de las características fundamentales de biodiversidad en el 
área de influencia del programa. 

= Una descripción de las amenazas existentes para las características 
fundamentales de la biodiversidad y los servicios ecosistémicos, así como de 
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los factores y rasgos fundamentales de la destrucción del hábitat o la 
biodiversidad. 

a La identidad de especialistas, incluidos ONG, instituciones e investigadores. 

= La identidad de las principales partes interesadas de la sociedad (comunidades 
afectadas). 

= Una lista de las referencias y las fuentes usadas. 

a Un análisis de la fiabilidad de la información y las brechas en los datos 
disponibles. 


5.27. A fin de determinar mejor las fuentes disponibles de información, el cliente deberá 
efectuar consultas con especialistas en biodiversidad y con las partes interesadas de la 
zona. Los especialistas en biodiversidad pueden ser miembros de universidades o 
entidades regionales de investigación y gestión, ONG de conservación o autoridades 
gubernamentales. Las partes interesadas locales incluyen comunidades y organizaciones 
locales, organizaciones de conservación y autoridades gubernamentales que viven o 
trabajan en la zona. El Banco requiere que se efectúen consultas con los pueblos 
indígenas si existe la posibilidad de que el programa tenga impactos en áreas de uso 
tradicional o en sus tierras o territorios. En el caso de proyectos de categoría A, el Banco 
requiere un proceso significativo de consulta y recomienda que la primera de ellas tenga 
lugar durante la etapa de delimitación del alcance de la EA. 


5.28. Las consultas iniciales deberán cumplir los siguientes requisitos: 


= Mejorar el acceso a la información y a los datos sobre biodiversidad en el área 
de interés. 

a Ayudar a asignar un orden de prioridad a las características fundamentales de 
la biodiversidad (incluidos los servicios ecosistémicos). 

a Contribuir a determinar los posibles impactos y riesgos más importantes para 
las partes interesadas. 

a Ayudar a crear consenso con las partes interesadas de la localidad en cuanto al 
alcance de la evaluación de biodiversidad. 


Identificación de las características fundamentales de la biodiversidad que podrían 
verse afectadas por el proyecto 


5.29. La Tabla 2 contiene un resumen de las características fundamentales de la 
biodiversidad. 
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Tabla 2: Características y ejemplos de las características fundamentales de la 
biodiversidad en países de América Latina y el Caribe 


Características de las características 
fundamentales de la biodiversidad 


Ejemplos en ALC 


Áreas protegidas existentes o propuestas en el 
país 


Parque Nacional Madidi en Bolivia; propuesta de 
área protegida Three Bays Marine en Haití; área 
de conservación comunitaria Wai en Guyana 


Áreas que han sido reconocidas en el marco de 
convenios internacionales, como los lugares 
Ramsar, los lugares de Patrimonio Mundial y las 
Reservas de Biósfera 


Sitio Ramsar en la Bahía de Panamá; el 
Patrimonio de la Humanidad de las Galápagos; 
la Reserva de la Biósfera de Pantanal en Brasil 


Hábitats irreemplazables que tienen condición 
prioritaria en el ámbito nacional o internacional. 
Por ejemplo: áreas importantes para las aves 
(AIA); áreas de aves endémicas; áreas 
destacadas de vegetación; áreas clave para la 
biodiversidad; sitios de la Alianza para la Cero 
Extinción (AZE, por sus siglas en inglés) 


AIA en el Pantano de Caroni en Trinidad; área 
de aves endémicas en las Antillas Menores; 
Parque Nacional Yapacana en Venezuela; sitio 
de AZE en Colombia; áreas clave para la 
biodiversidad en la Cordillera del Cóndor (otro 
sitio de AZE) en Ecuador 


Áreas con alta probabilidad de contener 
especies endémicas con distribución restringida 
o especies genéticamente aisladas que podrían 
ser importantes para el cambio evolutivo 


Hábitats insulares; hábitats aislados en tepuys, 
inselbergs y escarpaduras; ríos y riachuelos en 
las estribaciones de los Andes; bosques de 
montaña; hábitats herbáceos y de arbustos en 
altura, incluidos bofedales y páramos; cuevas en 
áreas de piedra calcárea y terrenos de karst 


Rutas usadas por especies migratorias 


Hábitats vulnerables sujetos a degradación en el 
pasado y en períodos recientes; pérdida de 
cobertura y fragmentación 


Rutas de vuelo de Centroamérica; migraciones 
longitudinales y laterales de peces amazónicos; 
migraciones de peces en la cuenca del Río 
Cauca, hacia y desde las ciénagas; migraciones 
de peces y camarones de agua dulce en 
Centroamérica 


Bosques de manglares; pantanos salinos; dunas; 
playas de anidamiento de tortugas; lecho de 
algas marinas; corales marinos del Caribe; 
bosque atlántico; bosque de Choco-Darién; 
bosque seco tropical; humedales de agua dulce 
como el Pantanal, los Llanos, bosques de 
várzea, bosques de igapó y bofedales 


Corredores biológicos terrestres, acuáticos y 
marinos para asegurar la conectividad genética 


Corredor biológico mesoamericano; corredor 
biológico del Caribe; corredor biológico de Paso 
de la Danta en Costa Rica 


Zonas importantes de desove o cría o donde se 
congregan o agregan individuos de una especie 
en particular 


Desove del mero negro en Belice; flamencos en 
Laguna Colorada, Bolivia 


Grandes paisajes terrestres o marinos con 
mínima influencia humana y hábitats contiguos 
no alterados 


Macizo guayanés; el Chaco; la Amazonía; zona 
marina protegida Seaflower 


Áreas importantes para los servicios 
ecosistémicos, incluidos el carbono, el agua, la 
fauna silvestre y las pesquerías 


Cuenca hidrográfica del Canal de Panamá; 
territorios indígenas naturales críticos para la 
fauna silvestre y la pesca 
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6. Identificación de hábitats naturales críticos 


6.1. El cliente deberá evaluar la existencia de un hábitat natural crítico en el área de 
influencia del proyecto, de acuerdo con los criterios para ese hábitat que se describen en 
la Política de Medio Ambiente y Cumplimiento de Salvaguardias. Los hábitats naturales 
críticos son: i) zonas actualmente protegidas, lugares cuya protección ha sido propuesta 
oficialmente por los gobiernos o sitios que mantienen condiciones que son críticas para 
la viabilidad de las áreas antes mencionadas y ii) zonas no protegidas de alto y 
reconocido valor para fines de conservación. 


6.2. En la OP-703 se indica que las zonas actualmente protegidas pueden incluir 
reservas que satisfagan las condiciones establecidas en las categorías | a VI de la UICN 
para la gestión de áreas protegidas; los lugares de Patrimonio Mundial; las zonas 
protegidas en el marco del Convenio Ramsar sobre humedales; los sitios fundamentales 
de las reservas mundiales de la biósfera y los lugares incluidos en la lista de parques 
nacionales y áreas protegidas de las Naciones Unidas. 


6.3. En la política se indica también que las áreas de reconocido valor en materia de 
conservación están constituidas por lugares que, en la opinión del Banco, pueden ser: i) 
sumamente adecuados para fines de conservación de la biodiversidad, ii) críticos para las 
especies “en peligro crítico” de extinción, “en peligro”, “vulnerables” o “casi amenazadas” 
incluidas en la Lista Roja de Especies Amenazadas de la IUCN y iii) de importancia crucial 


para la viabilidad de las rutas de las especies migratorias. 


6.4. En esta sección se explica cómo determinar si es probable que un área se 
considere como hábitat natural de importancia crítica. El Banco decidirá en última 
instancia qué hábitats se considerarán de importancia crítica. 


6.5. Existen varios instrumentos de trabajo que contienen mapas de hábitats naturales 
críticos y que pueden usarse para superponer el área de influencia del proyecto al hábitat 
natural crítico pertinente. Estos instrumentos incluyen el /nter-American Development 
Bank's decision support system (DSS); el Integrated Biodiversity Assessment Tool (IBAD, 
por sus siglas en inglés); Protected Planet; los mapas de zonas con especies en peligro 
de la Lista Roja de la UICN; e Infonatura. Estos instrumentos tienen como fundamento 
bases de datos en las que se describen áreas protegidas (por ejemplo, la Base de Datos 
Mundial de Áreas Protegidas), áreas clave para la biodiversidad, los sitios de la AZE y los 
ecosistemas terrestres naturales críticos (Natureserve y The Nature Conservancy). 


Áreas protegidas 


6.6. Las comprendidas en las categorías | a VI para la gestión de áreas protegidas de la 
UICN constituyen hábitats naturales de importancia crítica. Éstas podrían estar 
registradas al amparo de la legislación regional o nacional o bien ser reconocidas con 
arreglo a tratados internacionales, como los sitios de Patrimonio Mundial, los sitios 
Ramsar o los sitios medulares de las reservas de la biósfera. Las zonas protegidas de 
comunidades indígenas o locales también se consideran hábitats naturales de 
importancia crítica. 


6.7. Adicionalmente, las áreas que son objeto de un proceso oficial para establecer su 
protección también se consideran hábitats naturales de importancia crítica. Estas 
incluyen, entre otras, aquellas zonas que, si bien han sido propuestas para ser protegidas 
por entidades gubernamentales, no cuentan aún con protección legal, como también 
áreas que se han designado como prioritarias para la protección en estudios respaldados 
por un gobierno. 
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6.8. El Banco probablemente considere que las áreas que suministran servicios 
importantes para el mantenimiento de zonas actualmente protegidas o que se ha 
propuesto proteger también son hábitats naturales de importancia crítica. Por ejemplo, 
las cuencas hidrográficas que mantienen el caudal para un sistema fluvial protegido y los 
corredores biológicos que sostienen la conexión entre áreas protegidas. 


Zonas de alto valor para la conservación 


Hábitats naturales críticos para las especies incluidas en la Lista Roja de la UICN 


6.9. Se considera que los sitios cruciales para las especies incluidas en la Lista Roja de 
Especies Amenazadas de la UICN -como especies “casi amenazadas”, “vulnerables”, “en 
peligro” o “en peligro crítico”- constituyen un hábitat natural. El primer paso para 
determinar esto es describir las especies del área de influencia del proyecto incluidas en 
la Lista Roja de la UICN. Si bien se ha evaluado a la mayoría de las aves, mamíferos y 
anfibios, esto no se ha hecho aún con la mayoría de las plantas, peces y reptiles. 


” « 


6.10. En el caso de las especies clasificadas como “casi amenazadas”, “vulnerables”, “en 
peligro” o “en peligro crítico”, el cliente deberá determinar en qué medida el lugar es 
crucial para esa especie, según su entendimiento de los hábitats y poblaciones de la 
especie en el área de influencia del proyecto y en el resto del mundo. Algunas especies 
amenazadas tienen amplia distribución y para ellas el lugar podría no ser de importancia 
crítica; el otro caso extremo sería el de una especie amenazada que es endémica de la 
zona (es decir, que sólo habita esa área) o que depende de ese sitio en particular para 
reproducirse, alimentarse o movilizarse. Para determinar en qué medida un sitio es crítico 
para la supervivencia de una especie, deberá documentarse su abundancia en el tiempo y 
en el espacio. 


6.11. Los nuevos registros sobre distribución de especies “amenazadas” o “casi 
amenazadas” deberán ser verificados por especialistas calificados. Es común que 
consultores sin experiencia identifiquen erróneamente especies en el campo y procedan 
a reportarlas como “en peligro de extinción”, aunque en realidad no se encuentren en la 
zona en cuestión. 


6.12. Una vez que se haya determinado la existencia de especies “amenazadas” o “casi 
amenazadas” en el área de influencia del proyecto, debe reunirse información -mediante 
estudios de línea base de biodiversidad- para determinar si algún hábitat puede 
considerarse crítico para la especie en cuestión. Entre los aspectos más importantes a 
resolver, podrían incluirse los siguientes: 


= De producirse una pérdida de hábitat, ¿aumentaría el nivel de vulnerabilidad de 
las especies? 

= ¿Puede el proyecto crear impactos que aumenten el nivel de riesgo para estas 
especies? 

= ¿Produciría el proyecto una reducción en la población de estas especies a largo 
plazo? 
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Cuadro 6: La corrección de errores en la identificación de ciertas especies de aves 
permitió evitar costos y retrasos innecesarios 


El problema. En la ElA para un gasoducto financiado por el Banco se notificó la presencia -a 
lo largo del área con DDV- del churrete (o remolinera) de vientre blanco (Cinclodes palliates), 
un ave en “grave peligro” de extinción incluida en la Lista Roja de la UICN. 


El proyecto. El Proyecto Perú LNG comprende la construcción de un gasoducto de 408 
kilómetros para gas natural en el altiplano andino; una central de gas natural licuado en la 
costa, al sur de Pisco y una terminal marina. El proyecto está a cargo de un consorcio 
encabezado por Hunt Oil, SK Energy, Repsol y la Corporación Marubeni. El Banco ayudó a 
financiar el programa -cuyo costo asciende a US$3.800 millones- con un préstamo por 
US$400 millones y con otro de igual monto, concedido por un consorcio de bancos 
comerciales, ambos firmados en 2008. 


Riesgos e impactos potenciales. El C. palliates habita zonas pantanosas entre los 4.430 
metros de altura y el límite de las nieves perpetuas, situado a unos 5.000 metros de altura. La 
principal amenaza para el ave es la destrucción de su hábitat debido a las actividades 
mineras, la extracción de turba y el pastoreo excesivo. La UICN describe al ave como una 
especie “rara” y “localizada” y su población no pasa de los 300 individuos. En la ElA se 
reportaron dos encuentros con C. palliates en la zona programada de derecho de paso: uno 
en el verano, en un sitio de muestreo situado en una ciénaga de juncia y otro en el invierno, 
en otro sitio cubierto con juncia. De haber sido veraces, estas notificaciones hubieran 
accionado la designación de estas áreas como hábitats naturales críticos, en cuyo caso el 
Banco no habría podido respaldar una transformación o degradación importantes. Estos 
encuentros reportados se tradujeron en una serie de estudios adicionales y en la posible 
necesidad de establecer una ruta alternativa para el gasoducto, con los consiguientes 
retrasos en la construcción. 


Conclusión. Se estableció la probabilidad de que los informes de la ElA sobre el ave fueran 
erróneos. Mediante un estudio de gran alcance realizado entre 2008 y 2011, se determinó que 
el hábitat del ave sólo comprendía una sección de 40 kilómetros situada en la Cordillera de 
los Andes, directamente al este de Lima, en tanto que la ruta del gasoducto se sitúa mucho 
más al sur. Se han efectuado otras búsquedas, sin que se hallaran rastros de la especie entre 
Ayacucho y Huancavelica, un área por la cual pasa el gasoducto y donde, según la UICN, en el 
pasado “se ha notificado erradamente” la presencia del ave. La ausencia del ave en la zona 
con DDV fue confirmada de nuevo por ECOAN, una ONG peruana de conservación asociada 
con la American Bird Conservancy. Perú LNG contrató a un grupo de consultoría para realizar 
un estudio de biodiversidad a lo largo de toda la zona con DDV y, tras un análisis minucioso 
de los dos lugares reportados en la ElA, el ave no se halló. Tampoco se han notificado 
encuentros con el ave en el curso de la actual labor de supervisión biológica, liderada por el 
Instituto Smithsonian. Estos estudios complementarios respaldaron la aserción de que las 
observaciones iniciales habían sido incorrectas. 


Lecciones aprendidas. La información complementaria disponible sobre la especie planteó 
ciertos interrogantes sobre la calidad de los datos de referencia originales en cuanto a la 
biodiversidad y los estudios ulteriores realizados por personal calificado indicaron que la 
especie no habitaba la zona con DDV para el gasoducto. Si bien son costosos y requieren 
mucho tiempo, estos estudios complementarios permitieron evitar los importantes costos en 
que se habría incurrido para mitigar los efectos en un hábitat natural crítico. Estos resultados 
reafirman la importancia de contar con datos iniciales de alta calidad para determinar la 
existencia de un hábitat natural crítico, así como la necesidad de comparar la información 
existente con otra que podría contradecirla. 
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Hábitats naturales críticos para especies endémicas con distribución restringida 


6.13. Se considera que los lugares que sostienen especies supuestamente endémicas 
con distribución restringida constituyen un hábitat natural crítico de alto valor en materia 
de conservación, a menos que se demuestre que las especies en cuestión tienen rangos 
geográficos sobre áreas considerables. 


6.14. Es común que en los estudios de línea base de biodiversidad se identifiquen 
especímenes de una especie que ha sido descrita sólo recientemente por los científicos o 
que todavía no se ha nombrado. Estos registros deberán ser confirmados por taxónomos 
calificados que se especialicen en esa especie en particular. En algunos casos, las nuevas 
especies podrían ser endémicas del sitio en que se encontraron y tener un margen muy 
limitado de distribución. Dado que hay muy poca información disponible sobre nuevas 
especies -su descripción podría estar basada en menos de 20 individuos-, es poco 
probable que éstas hayan sido evaluadas por la UICN, aunque podrían tener 


características similares a las de otras especies casi “amenazadas”, “vulnerables”, “en 
peligro” o “en peligro crítico” de extinción. 


6.15. Los criterios para determinar si una especie está amenazada incluyen una 
evaluación de su distribución geográfica actual conocida y un entendimiento del historial 
de fragmentación de su población, su contracción y las amenazas existentes. Por 
ejemplo, en la Nota de orientación 6 de las Normas de desempeño de la CFI, las especies 
vertebradas con área de distribución inferior a 50.000 kilómetros cuadrados se definen 
como “con distribución restringida”. De acuerdo con la UICN, las especies “vulnerables” 
son las que habitan un área de distribución geográfica inferior a 20.000 kilómetros 
cuadrados, cuya población sufre fragmentación, reducciones y amenazas demostradas. 


6.16. Cuando se toman muestras de plantas, invertebrados, peces de agua dulce, 
anfibios y lagartos, es sumamente probable que se encuentren nuevas especies. Es 
probable que el margen de distribución de estas especies “nuevas” -es decir, nuevas 
para la comunidad científica- sea mayor que el área en la que se encontraron. Sin 
embargo, el cliente debe demostrar que la distribución de especies potencialmente 
endémicas se extiende hasta hábitats apropiados (es decir, aquéllos que pueden sostener 
especies durante un período prolongado) fuera del área de influencia, a fin de poder 
determinar si el proyecto tendrá efectos adversos en el hábitat crítico para la 
supervivencia de esa especie. 


6.17. Enel caso de las especies “nuevas” o que la UICN todavía no haya categorizado, el 
cliente deberá presentar un análisis de la medida en que la especie se encuentra 
amenazada y la medida en que el área es crucial para su supervivencia. Si existe 
suficiente información, deberán aplicarse en el análisis los parámetros de la Lista Roja de 
la UICN. Si la información es insuficiente, el cliente deberá usar el principio de precaución. 
Los análisis de especies supuestamente endémicas con distribución restringida deberán 
incluirlas a todas ellas, caso por caso, y proporcionar datos sobre su ecología, 
distribución y abundancia, así como sobre la magnitud de las amenazas existentes. 
También deberá indicarse en qué medida los conocimientos disponibles son fiables. 
Deberá consultarse a especialistas en ecología y taxonomía para determinar de qué 
especie se trata y obtener datos sobre sus características biológicas. En muchos casos, el 
análisis hará necesario ampliar los estudios proyectados de estas especies a hábitats 
situados fuera del área de influencia del programa. Es muy posible que una especie 
recientemente descubierta y descripta no sea endémica ni de distribución restringida y 
que su distribución “conocida” sea resultado de un muestreo insuficiente en el área de 
distribución. Pero esto deberá demostrarse y no darse por supuesto. 
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6.18. Si la identificación de los ejemplares no basta para situarlos en la categoría de 
“especie”, se los describe como “sp.” (especie no plenamente identificada), “aff.” (affinis, 
especie afin a un determinado taxón) o “cf.” (confer, “comparar con”, ya que 
aparentemente pertenece a una especie o género determinado, pero no puede 
afirmárselo con seguridad). En ese caso, el cliente deberá explicar por qué no fue posible 
situarlos dentro la categoría de “especie” y describir las medidas que se adoptarán para 
determinar si la población representa una especie nueva. De lo contrario, el Banco dará 
por supuesto que estos especímenes -que no se han incluido aún en la categoria de 
“especie”- representan una nueva especie con distribución restringida. 


Hábitats naturales críticos para la viabilidad de las rutas de migración de especies 
migratorias 


6.19. Se considera que, si un lugar es fundamental para la viabilidad de las rutas de 
migración de una especie, es un hábitat natural de importancia crítica. Los viajes de las 
especies migratorias desde una zona geográfica hacia otra tienen carácter cíclico y son 
predecibles. Los proyectos de infraestructura lineales -como las carreteras, las líneas de 
transmisión y los ductos- y también los proyectos destinados a aprovechar los caudales 
y flujos naturales -tales como los programas de energía hidroeléctrica y eólica- pueden 
crear barreras para estos movimientos migratorios. La infraestructura puede pasar a 
través de rutas migratorias y crear obstáculos; en tanto que los parques eólicos y las 
centrales hidroeléctricas pueden afectar el movimiento de las aves y los peces en las 
rutas de vuelo y los ríos. Del mismo modo, un proyecto en una zona de congregación 
importante de especies o en sus cercanías -como un área de cría o de alimentación- 
puede interrumpir el movimiento de las especies. 


6.20. Los estudios de línea base de biodiversidad deberán determinar en qué medida 
las especies migratorias dependen del hábitat que podría verse afectado por un 
proyecto. Deberán tomarse muestras en los períodos en que se anticipa el máximo nivel 
de migración y esa información deberá usarse para estimar la importancia relativa del 
hábitat para las migraciones, en relación con la de otras rutas. En el caso de los parques 
eólicos y las centrales hidroeléctricas, podrían requerirse estudios complementarios 
detallados específicos a fin de comprender los movimientos migratorios y el impacto de 
los planes sobre ellos. 


Hábitats sumamente adecuados para la conservación de la biodiversidad 


6.21. Los hábitats definidos mediante procedimientos de carácter regional, nacional o 
internacional como áreas de conservación prioritarias se consideran hábitats naturales 
críticos. En muchos casos, los bosques de mangle, el bosque atlántico, los bofedales, los 
arrecifes de coral y otros hábitats en peligro importantes están protegidos por la 
legislación del país del que se trate. Estos tipos de hábitats probablemente serán 
considerados por el Banco como hábitats naturales críticos. 


6.22. En general, los enfoques para asignar prioridades de conservación a un lugar se 
basan en la medida en que un sitio es vulnerable -la posibilidad de que sea expuesto a 
factores externos frente a los cuales es vulnerable- e irreemplazable. Esto incluye su 
potencial para contribuir a la conservación global de sus aspectos de biodiversidad. La 
mayoría de las áreas regionales y nacionales protegidas -los sitios de Patrimonio Mundial, 
los sitios Ramsar y las Reservas de Biósfera- satisfacen esos dos principios, o sea: son 
vulnerables e irreemplazables. Los sitios de la AZE, las áreas importantes para las plantas, 
las áreas clave para la biodiversidad y las AIA también se determinan de acuerdo con 
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esos principios. Ciertas áreas que son sumamente apropiadas para la conservación de la 
biodiversidad también podrían reconocerse como prioritarias, ya sea mediante 
procedimientos regionales o nacionales o bien porque se les asigne un alto valor en 
materia de conservación, en función de estándares y criterios internacionales. Sería el 
caso de zonas con considerable endemismo, especies “amenazadas” y “en peligro” o que 
son refugios naturales; grandes áreas con poblaciones viables de especies que se 
reproducen naturalmente; superficies que contienen ecosistemas raros, “amenazados” o 
“en peligro”; que proveen servicios ecosistémicos naturales críticos; que satisfacen 
necesidades de las comunidades que las habitan o que son cruciales para la identidad 
cultural tradicional. 


6.23. Es importante reconocer que muchos países de América Latina y el Caribe aún no 
han establecido criterios para delimitar áreas sumamente apropiadas para la 
conservación de la biodiversidad. También existen muchas localidades remotas que 
carecen de la información necesaria sobre biodiversidad para aplicar criterios de 
asignación de prioridades. En estas áreas, los estudios de línea base de biodiversidad 
pueden proveer la única información disponible en la materia. En estos casos, los clientes 
deberán aplicar criterios comúnmente utilizados para identificar altos valores de 
conservación a un área, a fin de determinar si deberá considerarse como sumamente 
apropiada para la conservación de la biodiversidad. Estos criterios deberán contemplar el 
mantenimiento de los procesos evolutivos fundamentales, que incluyen, entre otros, la 
conectividad genética (por ejemplo, los corredores biológicos); el endemismo (por 
ejemplo, las islas aisladas, los hábitats fragmentados y las cumbres de montaña); la 
riqueza y los refugios de especies. 
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Cuadro 7: Estudios complementarios indican que una línea de transmisión crea 
importantes riesgos para el movimiento de los flamencos 


El problema. El Banco recibió una solicitud de financiamiento para un proyecto geotérmico 
en un área protegida que contiene un gran número de flamencos, incluido el flamenco andino 
(Phoenicoparrus andinus), que está incluido en la Lista Roja de la UICN como especie 
vulnerable. 


El proyecto. El proyecto geotérmico está situado en el sudeste del Departamento de Potosí, 
una región árida de gran altitud. La línea de transmisión del proyecto correría hacia el norte 
de la central, atravesando la Reserva Natural Eduardo Avaroa y la ruta de vuelo que los 
flamencos usan a diario para alimentarse. 


Riesgos e impactos potenciales. El Banco clasificó el proyecto como una operación de 
categoría A, debido a la magnitud de sus posibles impactos ambientales. El proyecto activó 
también la directiva B.9 de la Política de Medio Ambiente y Cumplimiento de Salvaguardias 
del Banco, donde se señala que el BID no respaldará operaciones que degraden 
significativamente los hábitats naturales críticos. La ElA preparada por el prestatario con 
anterioridad a la solicitud de financiamiento no contenía la información necesaria para 
calcular los efectos del proyecto en el hábitat y las rutas migratorias de los flamencos; en 
particular, el posible riesgo de muerte de un gran número de ejemplares debido a las 
colisiones con la línea de transmisión. De hecho, no existían datos científicos con ese nivel de 
detalle. 


Estudios complementarios. Por consiguiente, el Banco financió un minucioso programa de 
investigación para documentar el comportamiento, la ecología y las modalidades de vuelo de 
los flamencos. Se comprobó la existencia de alrededor de 75.000 aves en el área. El más 
numeroso era el flamenco James (Phoenicoparrus jamesii, cuyo número ascendía a 64.465; 
seguido del flamenco andino, con un total de 8.892 individuos y el flamenco chileno (P. 
chilensis), con 1.772 individuos. Esta última especie está incluida en la Lista Roja de la UICN 
como “casi amenazada”. Debido a su longevidad (entre 20 y 30 años) y su largo período de 
reproducción, los cambios más insignificantes en la tasa de mortalidad de los flamencos 
adultos -causados, por ejemplo, por las colisiones con la línea de transmisión- podrían hacer 
peligrar la sostenibilidad del ave a largo plazo. En el estudio se documentaron también las 
modalidades de vuelo de la especie, que atraviesa la ruta de la línea de transmisión propuesta 
para alimentarse en alrededor de 30 pequeños lagos y humedales. Los investigadores 
comprobaron que todas las áreas de engorde contienen diferentes especies de algas y 
diatomeas que los flamencos necesitan para satisfacer sus necesidades de nutrición. Los 
datos presentados mediante el estudio de las modalidades de vuelo de los flamencos y el 
riesgo de un incremento de la mortalidad debido a la ubicación de la línea de transmisión 
propiciaron la conclusión de que el proyecto puede tener importantes efectos para un hábitat 
natural crítico. Por tanto, el Banco está estudiando posibles alternativas. 


Lecciones aprendidas. Estos resultados demuestran que las ElA preparadas por los 
prestatarios pueden ser inadecuadas y, por lo tanto, se necesitan estudios adicionales. La 
pronta participación del Banco en la preparación de un proyecto puede ayudar a identificar 
brechas fundamentales en la información y a poner en marcha estudios complementarios al 
comienzo de la etapa de preparación. Algunos estudios podrían necesitar hasta dos años, 
sobre todo cuando se trata de reunir datos sobre especies de larga vida. 
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SECCIÓN III. ESTUDIOS DE LÍNEA BASE DE BIODIVERSIDAD 


7. Preparación de los estudios de línea base de biodiversidad 


7.1. En el informe de delimitación de alcance del proyecto deberán especificarse las 
características fundamentales de la biodiversidad, incluidos los servicios ecosistémicos 
prioritarios en su área de influencia y describirse los potenciales impactos y riesgos para 
esas características y servicios. Por consiguiente, el informe orientará los estudios de 
línea base de la EA de la biodiversidad a indicar los casos en que podría necesitarse 
información adicional sobre sus características fundamentales, para comprender mejor 
los impactos. Además, el informe asegurará que se cuente con suficiente información 
para elaborar programas de gestión ambiental destinados a evitar, mitigar, rehabilitar o 
compensar los impactos. 


7.2. Contrariamente a lo que se cree, el objeto del estudio de línea base de la 
biodiversidad para una EA no es hacer un inventario biológico que proporcione listas 
exhaustivas de especies. Desde el punto de vista del Banco, el objetivo es proveer 
información enfocada y suficiente que, al usarse en el diseño del proyecto, pueda ayudar 
a responder las siguientes interrogantes: 


= ¿Cuáles son las características fundamentales de la biodiversidad en el área de 
influencia del proyecto? 

a ¿Se han especificado todas las características fundamentales de la 
biodiversidad? 

= ¿Qué efectos tendrá el proyecto en cada uno de las características de la 
biodiversidad especificados? 

= ¿Cuáles son las condiciones básicas de las características fundamentales de la 
biodiversidad en el área de influencia que admiten ser supervisadas durante el 
período del programa? 

= ¿Tendrá el plan un efecto importante en el hábitat natural o en hábitats 
naturales críticos? 

= ¿Qué posibilidades existen de evitar impactos en las características 
fundamentales de la biodiversidad? 

=» Si el proyecto puede crear una transformación o degradación apreciable de los 
hábitats naturales, ¿existen opciones para minimizar -en la medida en que sea 
apropiado- la pérdida de hábitat y para establecer y mantener un área 
protegida ecológicamente similar, que esté bien financiada, implementada y 
supervisada? 


7.3. Por consiguiente, los TdR para los estudios de linea base de biodiversidad 
deberán efectuar lo siguiente: 


= Identificar, caracterizar y documentar las características fundamentales de la 
biodiversidad en el área de influencia del proyecto para la cual se evaluarán los 
potenciales impactos y riesgos. 

= Proveer información suficiente para planificar las medidas de gestión necesarias 
para mitigar o compensar los impactos del plan. 

= Producir datos estandarizados sobre indicadores de biodiversidad que sirvan 
como punto de referencia para comparar los datos de la supervisión adquiridos 
durante la implementación del programa. 


7.4. El Banco podrá requerir información adicional o estudios complementarios sobre 
la biodiversidad con el objetivo de evaluar la conformidad con sus políticas. Estos 


33|Página 


estudios podrían incorporar datos sobre especies situadas fuera del área de influencia del 
proyecto, a fin de determinar si una zona es crítica para las especies incluidas en la Lista 
Roja de la UICN o para las especies endémicas con distribución restringida. Esta 
información permitirá determinar si un hábitat deberá considerarse como natural crítico 
o si no se producirá una transformación importante de hábitats naturales críticos. En 
algunos casos, los estudios adicionales podrían incluir información necesaria para 
elaborar planes adecuados de gestión; por ejemplo, análisis de procesos ecológicos o 
evaluaciones de la eficacia de las medidas de gestión. El cliente deberá considerar la 
posibilidad de incluir desde el comienzo al Banco en el proceso de desarrollo de los TAR 
para los estudios de línea base de biodiversidad, a fin de incorporar los requerimientos 
adicionales del BID. 


7.5. Los TdR para los estudios de línea base de biodiversidad deberán abarcar las 
siguientes áreas: 


= Los antecedentes de la labor de preevaluación y delimitación del alcance del 
proyecto. 

= El proceso de participación de las partes interesadas. 

a Las metodologías para los estudios de campo y la composición de los equipos. 

= Las bases de datos, los modelos de presentación de datos y el trazado de 
mapas. 

= Los indicadores de referencia para la supervisión. 

a Una evaluación de la integridad y de las limitaciones de los resultados del 
estudio. 


7.6. El Anexo D contiene un modelo de TdR para los estudios de línea base de 
biodiversidad. 


Información básica para los estudios de línea base de biodiversidad 


7.7. Los antecedentes evaluados durante la fase de delimitación del alcance del 
proyecto deberán presentarse como parte de los estudios de línea base. Estos deberán 
incluir la descripción del proyecto y mapas y deberá proporcionarse un resumen del área 
de influencia del plan, que dé cuenta de la información sobre: los resultados de la revisión 
preliminar de la información disponible; los resultados de la identificación y el análisis 
inicial de las partes interesadas; la especificación de las características fundamentales de 
la biodiversidad y la determinación de los aspectos clave de la evaluación. 


Participación de las partes interesadas en los estudios de línea base de biodiversidad 


7.8. La participación de las partes interesadas es necesaria durante el proceso de 
delimitación del alcance del proyecto y los estudios de línea base de biodiversidad 
deberán incluir una descripción del proceso de consulta iniciado durante las etapas de 
preevaluación y delimitación. Esta participación es vital para estimar adecuadamente el 
valor de la biodiversidad, en tanto que los conocimientos de los habitantes del lugar 
pueden proveer información valiosa sobre sus aspectos fundamentales en el área. 
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Metodologías para los estudios de campo y la composición de los equipos 


Requisitos para la elaboración de muestras y niveles de actividad 


7.9. Los estudios de línea base de biodiversidad no son inventarios, sino análisis 
centrados en sus aspectos más importantes, de relevancia para el proyecto, que se 
especifican durante la etapa de delimitación del alcance. Es imposible (e inconveniente) 
documentar toda la biodiversidad existente en el área de influencia de un programa. 


7.10. Los estudios de línea base y las evaluaciones de la Lista Roja de la UICN se 
centran, en su mayoría, en los vertebrados y plantas superiores. Este sesgo de la 
taxonomía se produce a pesar de que 78% de las especies conocidas no pertenece a esas 
categorías. En los estudios de línea base de biodiversidad, los vertebrados y plantas se 
usan como sustitutos (proxies) para las otras especies de la zona, principalmente 
insectos y otros invertebrados. 


7.11. La elaboración de muestras para los estudios de linea base de biodiversidad 
deberá centrarse -espacial y temporalmente- en los aspectos más importantes de la 
biodiversidad y en sus características fundamentales dentro de la zona de estudio 
seleccionada. Las actividades de muestreo deberán bastar para resolver las cuestiones 
esenciales que hayan sido identificadas durante la fase de delimitación del alcance. 


7.12. El muestreo para detectar especies en peligro o con distribución restringida es 
preciso cuando existe la posibilidad de que los proyectos tengan impactos irreversibles 
de gran magnitud en un hábitat natural; por ejemplo, los de represas hidroeléctricas, 
minería en gran escala, transformación de tierras agrícolas o construcción de carreteras 
importantes. Cuando se detecten posibles especies con distribución restringida, se 
requerirá un esfuerzo adicional para obtener información suficiente que permita 
comprender los impactos potencialmente serios del proyecto. Esto podría incluir una 
ampliación de los exámenes a zonas situadas fuera del área original del estudio de línea 
base de la biodiversidad, a fin de determinar la distribución general de las nuevas 
especies y emprender análisis ecológicos y genéticos de las características de esas 
poblaciones. 


713. La reunión de ejemplares es esencial cuando el muestreo tiene por finalidad 
documentar especies en peligro o con distribución restringida. Los ejemplares -ya sean 
completos o muestras de piel o tejido, muestras de plantas y/o material genético- son 
fundamentales para asegurar la correcta identificación de las especies. Las fotografías o 
registros de sonido podrían bastar en el caso de especies bien conocidas y en casos en 
que la probabilidad de errores en la identificación sea mínima. 


714. A los fines de descripción del hábitat, las muestras de plantas deberán ser 
representativas de los mapas creados mediante fotografías aéreas o imágenes de 
satélite; es decir, deben verificar sobre el terreno la información contenida en esos 
mapas. En la medida de lo posible, deberán tomarse muestras de todos los tipos de 
hábitats relevantes. Siempre que sea plausible, las muestras de plantas deberán coincidir 
con las de suelos, de modo de poder extrapolar la información entre áreas generales. El 
muestreo deberá tener carácter estratificado (de acuerdo con las características 
fundamentales de la biodiversidad) y aleatorio, pero dentro de los estratos. 


7.15. La ubicación de las muestras (puntos de observación o referencia, secciones 
transversales y cuadrantes, entre otros) deberá ser georeferenciada, con sistemas de 
posicionamiento global (GPS) que tengan un margen mínimo de error. El informe de 
referencia deberá incluir mapas del lugar en el que se obtuvieron las muestras, 
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superpuestos sobre el hábitat de interés, a fin de evaluar las actividades de muestreo 
tomando en consideración hábitats determinados. 


716. Las muestras deberán obtenerse cuando las características de la biodiversidad 
sean más observables. Por ejemplo, el nivel de actividad de las aves es mayor al 
amanecer y al atardecer; las muestras de especies migratorias deberán obtenerse en los 
períodos de migración; en muchos casos, los anfibios sólo pueden observarse en la 
estación húmeda; es más fácil ver a los peces cuando las aguas alcanzan su nivel más 
bajo y muchos tipos de plantas sólo pueden identificarse cuando florecen. En la mayoría 
de los casos, el muestreo de la biodiversidad deberá tener lugar a lo largo de todo el año, 
a fin de incrementar las posibilidades de encontrar diferentes organismos en diferentes 
estaciones. No es práctico tratar de efectuar un estudio de línea base de la biodiversidad 
en menos de seis meses, puesto que frecuentemente éstos toman más de un año en 
completarse. 


717. El cliente deberá identificar metodologías específicas de muestreo de campo de 
acuerdo con los siguientes elementos: 


= El tipo de datos necesarios para abordar los problemas planteados durante la 
delimitación del alcance del proyecto. 

= Los tipos de grupos taxonómicos y hábitats que son objeto del muestreo. 

= Las limitaciones y obstáculos logísticos para la actividad de campo. 


7.18. La selección de unidades taxonómicas variará según el sitio y las condiciones del 
hábitat. En algunos casos, las unidades que podrían no incluirse en el muestreo o en las 
ElA, como los invertebrados, podrían ser importantes si constituyeran indicadores 
cruciales de biodiversidad, como en el caso de los ecosistemas acuáticos, desiertos 
extremadamente áridos o bosques tropicales donde existen grupos de indicadores 
conocidos. 


719. Las fuentes generalmente aceptadas de metodologías de muestreo de la 
biodiversidad incluyen el RAP Tool Kit de Conservation International y ABC Taxa’s 
Volume 8: Manual on Field Recording Techniques and Protocols for All Taxa Biodiversity 
Inventories and Monitoring. 


Descripción de los métodos de muestreo de campo 


7.20. En el informe del estudio de línea base deberán incluirse los métodos; las fechas; 
la lista de partes interesadas y de especialistas consultados; la composición del equipo y 
su experiencia profesional; así como cualquier otra información que permita que los 
revisores y el público en general comprendan el proceso del estudio, además de lo 
siguiente: 


= Nombre y afiliaciones institucionales de los miembros del personal en el campo 
que realizan los estudios. 

= Nombre y afiliaciones institucionales de las personas que identificaron las 
especies. 

= Nombre y afiliaciones institucionales de los especialistas externos o expertos 
consultados. 

= Documentos comprobatorios de las consultas y encuestas efectuadas con las 
partes interesadas. 

= Fechas específicas en las que se efectuaron los estudios en los puntos de 
muestreo para todos los grupos taxonómicos. 

= Ubicación concreta y configuración de los estudios y puntos de muestreo. 


36|Pagina 


=a Equipo usado para obtener cada una de las muestras. 
=» Indicadores de la intensidad del muestreo (por ejemplo, el número de personas 
por día). 


Composición de los equipos 


7.21. El cliente deberá asegurarse de que los equipos a cargo de los estudios de línea 
base de biodiversidad incluyan especialistas en hábitats o taxonomía, entre ellos 
ecólogos (especialistas en ecología de comunidades, vegetación, silvicultura o botánica, 
según lo requiera el estudio propuesto) y taxónomos (especializados en botánica, 
ornitología, mastozoología, ictiología, entomología o herpetología, según se necesite). 


7.22. Los equipos en el campo a cargo de hacer los estudios de línea base de 
biodiversidad deben incluir a personas con capacidad demostrada para identificar a las 
especies en el campo. Una identificación errónea -por ejemplo, la elaboración de una lista 
de especies que tenga un margen de distribución de enorme amplitud- puede reducir la 
confianza en los resultados de los estudios de línea base y, en ciertos casos, causar 
retrasos significativos en el proyecto. 


Planificación y aspectos logísticos 


7.23. En muchos casos, el trabajo de campo en zonas remotas requiere considerable 
respaldo logístico (transporte, alimentos, refugio, salud, seguridad e higiene en el trabajo 
y seguridad general). Con frecuencia, los estudios de línea base de biodiversidad exigen 
la obtención de permisos regionales y nacionales (para las actividades de campo y para 
la recolección y exportación de ejemplares), así como permisos locales cuando esas 
actividades tienen lugar en terrenos de propiedad o administración comunal. Por tanto, la 
planificación del trabajo de campo puede aumentar considerablemente el tiempo 
necesario para implementar los estudios de línea base de biodiversidad, lo cual deberá 
tenerse en cuenta en el calendario general del proyecto. 


Bases de datos, presentación de datos y trazado de mapas 


7.24. En los TdR deberán especificarse, en la medida de lo posible, los requisitos 
aplicables a bases de datos, presentación de datos y trazado de mapas. En lo que 
respecta a las bases de datos, los requisitos deberán coincidir con las normas regionales 
y nacionales respectivas y los datos deberán proveerse en formatos accesibles que 
permitan compartirlos. Las bases de datos sobre especies deberán incluir, entre otras 
cosas, su nomenclatura (nombres científicos y locales), su lugar de origen, su condición, 
sus asociaciones con el hábitat y su abundancia comparativa. En el caso de especies 
cruciales, los estudios de línea base de biodiversidad deberán generar mapas en los que 
se indique su distribución y abundancia, sus necesidades de hábitat y la evolución 
histórica de la población. Asimismo, las bases de datos sobre hábitats deberán contar 
con un análisis histórico de estos datos e información sobre su evolución, incluidos los 
factores del cambio. Finalmente, deberá realizarse una descripción de los hábitats y 
levantarse sus mapas. 


Indicadores de referencia para la supervisión 


7.25. Los TdR deberán especificar el requisito para identificar las variables de respuesta 
y establecer los indicadores de referencia para supervisar cambios en la biodiversidad 
durante la ejecución del proyecto, las operaciones y el período posterior al cierre. Esa 
descripción deberá incluir indicadores apropiados, dando cuenta de la situación en 
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cuanto a recursos naturales críticos, procesos ecológicos, hábitat y especies. Los 
indicadores deberán ser fácilmente cuantificables y el sistema de supervisión deberá 
permitir que se brinde la información necesaria para detectar cambios de fondo en los 
parámetros durante períodos apropiados para la ejecución e implementación del 
programa. 


7.26. El establecimiento de la situación básica de la biodiversidad para fines de 
supervisión podría requerir un muestreo en ciertas “áreas de control” situadas fuera de la 
zona de influencia, que no obstante puedan compararse con los lugares afectados y 
Usarse para verificar cambios de mayor magnitud no relacionados con el plan. 


Evaluación de la integridad del estudio y de sus limitaciones 


7.27. En los TdR deberá tenerse en cuenta la necesidad de determinar si los datos 
derivados del estudio permiten satisfacer el requisito de principio de precaución. En este 
análisis deberá haber una evaluación de las brechas de información que deben llenarse 
en el futuro y una evaluación técnica de la integridad de los estudios, por ejemplo, por 
medio de curvas de acumulación para determinar su efectividad. En la documentación de 
las limitaciones podría indicarse, por caso, que las condiciones del análisis -climáticas o 
derivadas de otras limitaciones logísticas- no eran óptimas para efectuar una descripción 
exhaustiva de los hábitats o especies o que cuando se preparó el informe las especies no 
se habían identificado con suficiente certeza. En esta sección del estudio de línea base 
deberá documentarse cómo se reducirán las brechas en la información y cómo se 
superarán las limitaciones existentes en el desarrollo del proyecto y deberán 
especificarse claramente los riesgos asociados con una toma de decisiones basada en 
información incompleta. 


7.28. Un objetivo de los estudios de línea base de biodiversidad es documentar los 
hábitats y especies existentes en el área de influencia que podrían verse afectadas por el 
proyecto. Para esto es necesario un muestreo focalizado en tipos raros de hábitats o en 
hábitats que podrían contener especies en peligro o especies endémicas con distribución 
restringida. Deberá probarse que las muestras son adecuadas -mediante curvas de 
acumulación de especies, la opinión de especialistas u otros enfoques similares-, a fin de 
minimizar el riesgo de pasar por alto especies en peligro o con distribución restringida. 


7.29. El Banco podría solicitar estudios complementarios de la biodiversidad para 
evaluar el cumplimiento de sus políticas. Esos estudios podrían incluir lo siguiente: 


= Una evaluación de la ecología, distribución y abundancia de especies raras y en 
peligro, incluidas las especies endémicas con distribución restringida y las 
especies presentes en la Lista Roja de la UICN que podrían verse afectadas por 
el proyecto. Estos estudios podrían requerir conocimientos especializados de 
ecología de campo y taxonomía y metodologías especiales de muestreo. 
También podría ser necesario documentar la distribución de las especies, para 
determinar en qué medida dependen del hábitat afectado. 

= La elaboración de modelos de los impactos de un proyecto en el ecosistema; 
por ejemplo, un análisis del proceso ecológico en el caso de programas que 
alteran el régimen de caudales de los ríos. En muchos casos, estos estudios 
requieren conocimientos especializados y el Banco podría exigir el uso de 
métodos normalizados para elaborar los modelos. 

= Que se demuestre la eficacia de las medidas de gestión, como las destinadas a 
reducir las colisiones de aves con líneas elevadas de transmisión; escaleras de 
peces para facilitar las migraciones o cambios en los horarios de operación para 
disminuir la mortalidad de los murciélagos y aves en los parques eólicos. Estos 
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estudios podrían efectuarse durante la etapa operativa de un proyecto y usarse 
como fundamento del manejo adaptativo. En el caso de medidas de gestión 
que no se hayan utilizado antes, los estudios podrían necesitarse con 
anterioridad a la implementación del programa. 


7.30. Podría ser necesario complementar los estudios de línea base de biodiversidad y 
los planes de gestión con otros estudios, a fin de comprender los impactos y riesgos 
potenciales en determinados sectores y tipos de proyecto, como en los siguientes: 


Proyectos hidroeléctricos que producen transformaciones fundamentales en la 
hidrología y limnología de los ríos, con los consiguientes cambios en el caudal y 
la calidad del agua por encima y por debajo de la presa. Otros estudios incluyen 
la reunión de los datos necesarios para elaborar modelos del flujo y de la 
calidad del agua y determinar si los flujos residuales bastan para mantener los 
hábitats acuáticos y ribereños. En muchos casos, se requieren análisis y planes 
de gestión de los flujos en procesos ecológicos en las EA de proyectos 
hidroeléctricos. 

Una comprensión mejorada de los posibles efectos indirectos en los hábitats 
creados por la afluencia de personas puede facilitar la construcción de caminos 
en zonas fronterizas. Pueden usarse modelos como fundamento para elaborar 
planes de gestión a fin de controlar el acceso y minimizar estos impactos. 

En el caso de las líneas de transmisión, los ductos y los caminos nuevos, podrían 
requerirse análisis complementarios de los obstáculos y la fragmentación 
creados por la infraestructura lineal. 

Los proyectos para construir parques eólicos podrían requerir un análisis 
especial de las migraciones y rutas de vuelo, además de una evaluación de los 
riesgos de colisión para las aves y los murciélagos. 


7.31. Idealmente, la necesidad de efectuar estudios adicionales de biodiversidad deberá 
determinarse al comienzo de la labor de preevaluación y delimitación del alcance del 
proyecto, para que puedan ser incorporados en el PAB y finalizar los estudios de línea 
base de biodiversidad que puedan ser necesarios. 
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Cuadro 8: Las especies nuevas requieren estudios complementarios para comprender su 
distribución y ecología 


El problema. Los estudios de línea base de la fauna acuática efectuados para un 
proyecto hidroeléctrico confirmaron la existencia de varias especies nuevas de peces con 
distribución aparentemente restringida. Por lo tanto, se consideró que su hábitat 
constituía un hábitat natural crítico. Se necesitaron estudios adicionales para determinar 
el margen de distribución y los hábitats de estas especies y, de este modo, determinar 
los requisitos del Banco para la mitigación de los impactos del proyecto en esos 
sistemas. 


El proyecto. El proyecto hidroeléctrico de Chaglla Hydroelectric en Perú comprende una 
represa de gran tamaño y una central de energía de 406 megavatios (MW) en el Río 
Huallaga, situado en el departamento de Huánuco. El proyecto está siendo financiado 
con un préstamo por US$150 millones, aprobado por el Banco en 2011. 


Riesgos e impactos potenciales. La descripción general de las especies de peces en la 
zona del proyecto contenida en la ElA planteó ciertos interrogantes con respecto a la 
vulnerabilidad de varias especies nuevas de bagre de los géneros Chaetostoma y 
Astroblepus. No es raro encontrar especies de peces con distribución restringida y 
especies locales potencialmente endémicas en los proyectos hidroeléctricos en ríos con 
inclinación marcada del terreno en las estribaciones de la Cordillera de los Andes. Los 
estudios de línea base en sistemas fluviales aislados confirman con frecuencia la 
existencia de nuevas especies. 


Estudios complementarios. La ElA no aportó la información necesaria para determinar 
si el proyecto produciría la transformación o degradación importante de un hábitat 
natural crítico. Por consiguiente, el Banco solicitó una serie de estudios complementarios 
para clarificar los aspectos relacionados con la taxonomía, la distribución, el hábitat, los 
antecedentes biológicos, la ecología y los movimientos migratorios de estas especies. 
Los estudios incluyeron meticulosas evaluaciones taxonómicas basadas en mediciones y 
datos genéticos y un análisis de la distribución fuera del área de influencia del proyecto. 


Conclusiones del estudio. De acuerdo con las conclusiones del estudio, se determinó 
que las nuevas especies, correctamente identificadas como Chaetostoma y Astroblepus, 
están ampliamente distribuidas en otras secciones del sistema fluvial fuera del área de 
influencia del proyecto y que la distribución en el área de influencia está restringida a 
vías fluviales tributarias, donde el impacto sería insignificante. No obstante, el plan de 
gestión ambiental del programa protegerá las vías fluviales y se asegurará de que el 
principal río afectado por el plan siga siendo un conducto para estas especies. 


Lecciones aprendidas. En muchos casos, las áreas que no han sido objeto de un estudio 
científico exhaustivo hacen necesario reunir y analizar nuevos datos -frecuentemente 
fuera del área de influencia- para determinar la distribución de nuevas especies y sus 
necesidades de hábitat, a fin de establecer que se evitará una transformación y 
degradación importante de hábitats naturales críticos y formular medidas de mitigación 
eficaces. 
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SECCIÓN IV, EVALUACIÓN DE LOS IMPACTOS EN LA BIODIVERSIDAD 


8. Evaluación de los impactos ambientales del proyecto y los riesgos para la 
biodiversidad 


8.1. La estrategia para evaluar los impactos en la biodiversidad deberá determinarse 
durante la etapa de delimitación del alcance del proyecto. Esa estrategia deberá ser 
adecuada para abordar los posibles impactos y riesgos del plan y sus instalaciones 
asociadas, así como las características ambientales, de biodiversidad y sociales de la 
zona del plan y su área de influencia. El Anexo E contiene una lista de control para las 
evaluaciones de los impactos de los proyectos en la biodiversidad y los servicios 
ecosistémicos. 


8.2. En la evaluación deberán tenerse en cuenta los impactos y riesgos para las 
características fundamentales de la biodiversidad y los servicios ecosistémicos, e iniciarse 
el proceso de determinación de medidas de gestión y compensación, de conformidad 
con la jerarquía de mitigación. 


8.3. La evaluación deberá centrarse en la interacción entre las actividades, los 
procesos y los productos del proyecto y las características fundamentales de la 
biodiversidad en su zona y su área de influencia. Entre los ejemplos comunes de 
impactos en la biodiversidad, figuran: la pérdida y fragmentación de hábitats; los 
cambios en la calidad del aire y del agua debido a las emisiones, los efluentes y la 
sedimentación; las fluctuaciones del microclima y la introducción de especies invasoras. 


8.4. La evaluación de impactos deberá contemplar: 


= Una descripción de las principales actividades, procesos y productos del 
proyecto y de sus alternativas. 

= Una descripción de las características fundamentales de la biodiversidad en el 
área de influencia del plan. 

= La identificación, el análisis y la evaluación de los impactos y riesgos 
potenciales directos, indirectos y acumulativos para las características 
fundamentales de la biodiversidad. Esto incluye una estimación de la magnitud 
de los posibles impactos y riesgos, basada en la probabilidad de que los haya. 

= Una descripción de las metodologías usadas, incluida una explicación del 
sistema usado para determinar la trascendencia de los impactos. 

=" La labor inicial de identificación de las medidas de gestión. 

= la especificación de los impactos residuales y las necesidades de 
compensación para evitar pérdidas netas (definidas éstas como “una reducción 
global, en el marco de la escala ecológica relevante, del tamaño, calidad o 
viabilidad de las características de la biodiversidad afectados por el proyecto”). 

= El establecimiento de una matriz de los componentes del plan y de sus 
impactos; de las medidas de gestión y de los requisitos institucionales para la 
implementación. 

= La determinación del riesgo de una transformación y degradación importantes 
de hábitats naturales críticos. 
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Identificación de los impactos directos e indirectos en la biodiversidad 


8.5. En general, el impacto directo en la biodiversidad tiene lugar en la huella del 
proyecto, el área que será ocupada por las instalaciones o que de alguna otra manera se 
verá directamente afectada por él y donde el uso de la tierra ya no será plausible. Los 
impactos directos pueden visualizarse superponiendo la huella del programa a las 
características fundamentales de la biodiversidad, usando un sistema de información 
geográfica. 


8.6. Los impactos indirectos en la biodiversidad se producen fuera de la huella del plan 
o en un período posterior a la construcción e implementación inicial. Por ejemplo, en los 
proyectos de construcción de caminos y parques industriales, los impactos pueden ser 
resultado de una inmigración inducida y de las nuevas colonias que surgirán una vez 
establecidos las carreteras y los parques industriales. En muchos casos, estos impactos 
podrían extenderse mucho más allá del área de influencia del programa y ser de mayor 
magnitud y duración que los impactos directos de la construcción de una carretera o un 
parque industrial. 


8.7. El Anexo F contiene una lista de los posibles impactos normalmente asociados 
con distintos tipos de proyectos. Las Guías sobre Medio Ambiente, Salud y Seguridad del 
Banco Mundial y Guidance Document on Biodiversity, Impact Assessment and Decision 
Making in Southern Africa, compilado por el Instituto Sudafricano de Evaluación 
Ambiental, contienen listas adicionales de impactos en sectores específicos. 


8.8. El cliente debe garantizar el seguimiento de los cambios directos e indirectos en la 
atmósfera, el agua, el suelo y la tierra, a objeto de observar sus impactos en las 
características fundamentales de la biodiversidad. Los impactos aguas abajo de una 
represa hidroeléctrica podrían ser interpretados como cambios en los niveles de flujo del 
río y la composición química del agua; estas transformaciones físicas y químicas tendrán 
consecuencias en la biodiversidad terrestre y acuática río abajo. Del mismo modo, los 
impactos sociales -como el desplazamiento de la población a otra zona debido al 
programa- pueden afectar las características fundamentales de biodiversidad en su 
nueva ubicación. 


Determinación de los impactos acumulativos en la biodiversidad 


8.9. Los impactos acumulativos son producidos por los efectos combinados -en las 
características fundamentales de la biodiversidad (o componentes valiosos del 
ecosistema relacionados con ella)- de todos los proyectos pasados, presentes y 
razonablemente previsibles, independientemente de quién haya ejecutado o financiado 
los otros programas. Los clientes deberán estar al tanto de otras actividades de 
desarrollo en curso o previstas en la zona, a fin de determinar los impactos acumulativos. 
Éstos pueden incluir otras iniciativas que contribuirán al crecimiento económico y que, al 
asociarse con el plan, producirán cambios ambientales cuantificables. 


8.10. La evaluación de los impactos acumulativos suele pasarse por alto en los 
proyectos. En parte, esto se debe a la dificultad de mitigarlos, dado que el programa o el 
cliente podrían considerar que la gestión de estos impactos es responsabilidad del 
gobierno regional o nacional. Si bien podría ser más eficaz abordar estos impactos en el 
ámbito local, regional o nacional mediante evaluaciones ambientales estratégicas o 
programas regionales de planificación, los clientes igualmente deben incorporar una 
evaluación de impactos acumulativos en el proceso global de EA. 


8.11. Los impactos acumulativos son de carácter general y tienen importantes 
consecuencias para la biodiversidad. Las evaluaciones del impacto deben centrarse en 
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los efectos combinados e incrementales del proyecto y de otros programas en las 
características fundamentales de la biodiversidad, especificados en los estudios de línea 
base correspondientes. Un ejemplo de ello es la existencia de multiples represas 
hidroeléctricas en un solo río o distribuidas en una sola cuenca hidrográfica, lo que 
reduce la capacidad del río para sustentar especies nativas y mantener las rutas de 
migración. Otro caso es el del otorgamiento de múltiples concesiones mineras y de 
hidrocarburos en una región, que se traduce en la existencia de varias rutas de acceso, la 
transformación del hábitat y la contaminación de vías fluviales. Lo mismo vale para la 
existencia de varios parques eólicos concentrados en un área específica, lo cual reduce la 
viabilidad de las rutas migratorias para las aves, debido a la mortalidad acumulativa. 
También cabe mencionar la convivencia de múltiples proyectos en línea, como las 
carreteras paralelas, las líneas de transmisión y los ductos, que aumentan los obstáculos 
y la fragmentación del hábitat. Otro ejemplo son las inversiones que alientan la creación 
de polos de crecimiento, como sería el caso de un parque industrial asociado con 
viviendas y carreteras. 


8.12. Los siguientes documentos contienen directrices generales para la evaluación de 
los impactos acumulativos: 


= Asociación Internacional de Evaluación de Impacto, Impact Assessment Wiki, 
Cumulative Effects Assessment and Management. 

= Organismo Canadiense de Evaluación Ambiental (Canadian Environmental 
Assessment Agency), Cumulative Effects Assessment Practitioners’ Guide. 

s Unión Europea, Guidelines for the Assessment of Indirect and Cumulative 


Impacts as well as Impact Interactions. 
= Organismo de Protección Ambiental de Estados Unidos, Consideration of 


Cumulative Impacts in EPA Review of NEPA Documents, 
= Corporación Financiera Internacional (CFI), Good Practice Note on Cumulative 


Impact Assessment and Management Guidance for the Private Sector ín 
Emerging Markets. 
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Cuadro 9: Identificación y gestión de impactos indirectos y acumulativos en hábitats 
naturales críticos 


El problema. El Parque Industrial Caracol (PIC) se concibió como fundamento para el 
desarrollo en el noreste de Haití, tras el catastrófico terremoto de 2010. El parque está 
situado cerca de un hábitat costero y marino ecológicamente importante. Dada la 
situación urgente del momento, el gobierno y los donantes bilaterales y multilaterales del 
proyecto no hicieron un análisis suficientemente minucioso de los impactos acumulativos 
e indirectos del desarrollo en el área, incluida la posibilidad de degradar aún más los 
hábitats costero y marino, que ya sufrían fuertes presiones ambientales. 


El proyecto. El Banco está ayudando a financiar el parque industrial con donaciones por 
un total de US$200 millones. El proyecto está situado en 250 hectáreas de terrenos de 
propiedad pública, al oeste de la ciudad costera de Cap-Haïtien. En los próximos años, el 
PIC podría emplear hasta a 40.000 trabajadores. 


Amenazas para los hábitats marino y costero. El proyecto tiene por finalidad estimular 
el desarrollo al proveer empleo y atraer nuevos residentes desde la capital, que tiene un 
exceso de población. No obstante, los nuevos habitantes aumentarán la presión sobre los 
hábitats marino y costero. Estos hábitats incluyen la Bahía de Caracol, con 3.900 
hectáreas de bosques de mangle, praderas marinas y arrecifes de coral; la Bahía de Fort 
Liberté, que tiene otras 450 hectáreas de manglares y lechos de algas marinas, y Lagon- 
aux-Boeufs, un lago de agua salobre de 450 hectáreas y un área de reconocida 
importancia para las aves. Toda la zona es parte del Corredor Biológico del Caribe, 
propuesta como fundamental para la biodiversidad, que el gobierno quiere transformar 
en un área protegida, el Parc Nationale de Trois Baies. 


Impactos acumulativos e indirectos. Actualmente, estas localidades están siendo 
degradadas mediante la destrucción de los manglares, la pesca excesiva y la mala 
gestión de residuos sólidos. El Banco respaldó una evaluación del impacto acumulativo 
para examinar los efectos del PIC y una serie de otras inversiones en vivienda e 
infraestructura. De acuerdo con esa evaluación, el aumento de la población y los cambios 
en la gestión de aguas plantean graves riesgos para la zona protegida propuesta. 


Mitigación de los impactos. En la evaluación se determinó que el establecimiento de un 
area marina protegida es una medida crucial de mitigación para administrar los riesgos 
indirectos y acumulativos del PIC. El Banco está colaborando con el gobierno y el 
Programa las Naciones Unidas para el Desarrollo (PNUD) con el fin de ayudar a reforzar 
la capacidad institucional, efectuar estudios de línea base y facilitar la participación inicial 
de las partes interesadas para establecer la zona protegida. 


Lecciones aprendidas. Los impactos ambientales indirectos y acumulativos, así como 
también las medidas de mitigación, deberán especificarse en las primeras etapas de 
planificación del proyecto; la evaluación del impacto acumulativo reviste especial 
importancia en el caso de programas transformativos situados en un hábitat natural 
crítico o en sus cercanías. La adopción de medidas eficaces de mitigación hará necesaria 
la colaboración frecuente con el gobierno, a fin de reforzar la capacidad institucional y 
facilitar el establecimiento de áreas protegidas. 
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Identificación y gestión de los impactos de las especies invasoras 


8.13. En la directiva B-9 de la OP-703 se hace referencia, especificamente, a las 
especies invasoras y se indica que el Banco no respaldará proyectos que las introduzcan. 
El impacto potencialmente devastador de las especies invasoras no es inmediatamente 
evidente y, por lo tanto, se señala especialmente en esa directiva. 


8.14. Una especie invasora es aquélla que se introduce en un ecosistema o área que no 
es su hábitat natural (o sea, de donde no es nativa), lo cual causa o puede causar daños a 
la biodiversidad, el medio ambiente, la economía o la salud humana. Cuando se 
introducen en un hábitat nuevo, las especies invasoras pueden propagarse con rapidez y 
competir ventajosamente con las nativas. Los organismos genéticamente modificados 
pueden ser especies invasoras y deberán evaluarse caso por caso. 


8.15. El Banco no respaldará proyectos que introduzcan especies invasoras, ya sea 
intencionalmente o por accidente. La introducción intencional puede ocurrir mediante 
proyectos que implican combustibles biológicos (por ejemplo, Leucaena leucocephala, 
acacia pálida); gramíneas forrajeras (por caso, /mperata cylindrica, pasto cogón); 
productos de acuicultura (como la Oreochromis mossambicus, tilapia); de silvicultura 
(v.g., Pinus pinaster, pino marítimo) y paisajismo y rehabilitación (es el caso de la Lantana 
camara, supirrosa). Las introducciones accidentales pueden ocurrir debido al movimiento 
de suelos, balasto o material de relleno contaminado o por medio de organismos 
adheridos a embarcaciones, aeroplanos, camiones y automóviles. Esto puede producir la 
distribución de malezas, plagas de insectos, patógenos y enfermedades. Los proyectos 
también pueden propagar especies invasoras a nuevas áreas, directa o indirectamente, al 
establecer las condiciones que facilitan sus movimientos (por ejemplo, creando 
corredores terrestres y acuáticos). 


8.16. El Banco no permite la introducción de especies invasoras, que pueden incluir 
especies híbridas y de cultivo, que estén oficialmente prohibidas por un país o que se 
registren como invasivas en condiciones similares (por ejemplo, clima, ecosistemas y tipo 
de suelo similares) cuando no existen métodos comprobados para controlar la invasión. 
El Banco tampoco permitirá el uso de especies indicadas como potencialmente invasivas 
en una evaluación de riesgo. Se han hecho evaluaciones de riesgo para muchas especies 
y esa información está disponible en bases de datos en línea (por ejemplo, global 
compendium of weeds). Si no se sabe qué riesgos presenta una especie en particular, el 
cliente deberá evaluarlo a través de la opinión de expertos, tomando en cuenta el 
comportamiento de especies similares relacionadas y la vulnerabilidad del área. 


8.17. El cliente deberá establecer medidas para minimizar el riesgo de introducción 
accidental de especies invasoras. Estas medidas pueden incluir procedimientos de 
inspección; cuarentenas; detección temprana o aplicación de productos químicos para 
reducir el riesgo de transporte directo o indirecto de especies invasoras cuando se 
mezclan con otras materias. En los proyectos de infraestructura en línea que cruzan 
múltiples tipos de hábitats -como los ductos, líneas de transmisión y carreteras-, el 
cliente deberá asegurar la implementación de medidas para minimizar el riesgo de 
transporte de las especies desde un hábitat hacia otro. 


8.18. Se espera también que los clientes cumplan con las obligaciones internacionales 
sobre gestión de especies invasoras, como el Convenio Internacional para el Control y la 
Gestión del Agua de Lastre y los Sedimentos de los Buques (BWM Convention). 


8.19. En los casos en que una especie invasora se haya establecido en el área de 
influencia del proyecto, el cliente deberá tomar precauciones para evitar que se 
introduzca más allá. Estas podrían incluir la adopción de planes de gestión y seguimiento 
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para controlar o erradicar la especie. Estos planes deberán ser elaborados con 
especialistas en gestión de especies invasoras, para proteger la biodiversidad. 


8.20. Cuando las especies invasoras se usan para fines agrícolas, el cliente deberá 
demostrar que es posible contenerlas durante el cultivo, transporte y procesamiento y 
que se pueden erradicar una vez terminado el proyecto. El plan de gestión para especies 
agrícolas invasivas deberá incluir prácticas de cultivo que minimicen el riesgo de escape, 
además de medidas de seguimiento y acciones de respuesta a emergencias si las 
especies escapan del área de influencia del programa. 


Evaluación de la importancia de los posibles impactos y riesgos en la biodiversidad 


8.21. Un impacto en la biodiversidad es el efecto de un acto, proceso o hecho en una de 
sus características. El concepto de riesgo incorpora la posibilidad de que el impacto 
tenga lugar, además de determinar su magnitud en la característica de biodiversidad. 


8.22. Las características de biodiversidad pueden definirse en función de dos criterios: 
que sean irreemplazables o su grado de vulnerabilidad. Lo irreemplazable está 
relacionado con el número de lugares o la extensión geográfica en que existen esas 
características; si una especie sólo existe en un sitio, esa característica será difícilmente 
reemplazable o imposible de reemplazar. La vulnerabilidad es la susceptibilidad de la 
característica frente a las amenazas y depende de sus riesgos actuales y futuros. Una 
característica de biodiversidad vulnerable es uno que ha sufrido rápidas pérdidas en el 
pasado reciente. 


8.23. Por consiguiente, evaluar los riesgos para la biodiversidad requiere comprender la 
gravedad espacial y temporal del impacto; en qué medida es irreemplazable y vulnerable 
la característica de biodiversidad y la posibilidad de que se produzca un impacto. 


8.24. La evaluación cualitativa de los impactos y riesgos potenciales deberá basarse en 
una comprensión de las posibles interacciones directas e indirectas entre las actividades 
del proyecto y las características fundamentales de la biodiversidad en su área de 
influencia. En los casos en que no haya información adecuada sobre las características de 
la biodiversidad, podría necesitarse la opinión de especialistas para hacer la evaluación. 


Evaluación cuantitativa de la importancia de los impactos en la biodiversidad 


8.25. Los métodos cuantitativos de evaluación sirven para estimar la magnitud 
(amplitud y duración) de los impactos en las características fundamentales de la 
biodiversidad. Los riesgos para la biodiversidad pueden evaluarse con indicadores de la 
posibilidad de que se materialicen, e indicadores del grado en que las características son 
irreemplazables y vulnerables. 


8.26. La magnitud de un impacto puede cuantificarse usando indicadores espaciales o 
temporales, como los siguientes: 


a El número de individuos de una especie en particular que se verán afectados. 
= El número de hectáreas de hábitat perdidas. 

= El número de fragmentos de hábitat perdidos. 

= La longitud del hábitat de rio perdido. 

a La duración o reversibilidad del impacto. 


8.27. La magnitud de un impacto podría presentarse como valor absoluto (por ejemplo, 
el número de hectáreas) o relativo (por ejemplo, específico de un sitio, localizado, 
generalizado o global) de su escala. 
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8.28. El carácter de irreemplazable de la característica de la biodiversidad puede 
cuantificarse a partir de las siguientes variables: 


= El número de individuos sobrevivientes de la especie en cuestión. 

= El área del hábitat ocupado por la especie en cuestión o tipo de hábitat. 

= El número de parches de hábitat aún no transformados o que están ocupados 
por una especie. 


8.29. La vulnerabilidad de la característica de la biodiversidad puede cuantificarse a 
partir de las siguientes variables: 


a La reducción del número de individuos de una especie determinada. 

= El cambio porcentual del área ocupada por una especie determinada o un tipo 
específico de hábitat. 

= El cambio porcentual del número de parches de hábitat aún no transformados o 
que están ocupados por una especie. 

= Los cambios futuros -determinados con un modelo plausible- del número de 
individuos, del área de hábitat adecuado o del número de parches de hábitat. 


8.30. Pueden usarse modelos cuantitativos para estimar el impacto del proyecto en la 
biodiversidad. Por ejemplo, se han utilizado modelos de análisis de la viabilidad del 
hábitat para especies en peligro que permiten sintetizar datos sobre una especie y su 
hábitat a fin de predecir su evolución y su reacción frente a las intervenciones. También 
se han elaborado modelos para pronosticar los cambios en el uso de la tierra debido al 
impacto indirecto del desarrollo de infraestructura y para estimar los riesgos de colisión 
de los murciélagos y las aves con las turbinas eólicas. Estos modelos resultan útiles en la 
medida en que los datos usados sean adecuados. En la mayoría de los casos, los datos 
usados en los modelos para proyectos no sirven para hacer pronósticos precisos de 
impacto. No obstante, el Banco recomienda el uso de modelos para pronosticar los 
impactos en la biodiversidad, si existen datos de calidad para sustentar esos modelos. 


8.31. En los casos en que un proyecto pueda afectar especies bien documentadas y 
sumamente vulnerables, podrían requerirse evaluaciones cuantitativas detalladas. Un 
ejemplo de esto lo constituyen los análisis de procesos ecológicos a partir de estímulos 
físicos del hábitat y la metodología incremental para el cálculo de caudales, en que un 
proyecto podría afectar hábitats críticos o naturales al alterar los caudales de agua. En 
los casos en que los datos no basten para especificar los impactos, el Banco requiere la 
aplicación del principio de precaución y de medidas de gestión. 


8.32. La posibilidad de que ocurra un impacto puede cuantificarse estimando la 
probabilidad de que un suceso tenga lugar dentro de un determinado ámbito espacial y 
temporal. 


Uso de evaluaciones con jerarquía para determinar la importancia de los impactos 


8.33. Puesto que en muchos casos los datos cuantitativos son escasos y que las 
interacciones ecológicas son poco conocidas, las evaluaciones de impacto podrían 
basarse en una clasificación jerárquica, a fin de estimar su posibilidad y magnitud. 


8.34. La magnitud de un impacto puede categorizarse de acuerdo con una escala que 
abarca desde los producidos en sitios específicos con efecto directo mínimo en una 
característica de la biodiversidad hasta los más amplios, que afectan a la característica 
completa. Del mismo modo, la magnitud puede categorizarse en una escala que va desde 
los impactos de corta duración o fácilmente reversibles (por ejemplo, la transformación 
temporal de una porción de vegetación que se restaurará dentro de dos meses) hasta el 
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cambio permanente (por caso, el reemplazo de un arrecife de coral con un muelle). Para 
determinar la gravedad de un impacto, deberán considerarse las posibilidades de 
mitigación o reparación. 


8.35. Un enfoque semicuantitativo para estimar la gravedad de los riesgos consiste en 
jerarquizar la magnitud de un impacto en función de la posibilidad de que ocurra en una 
matriz (véase la Tabla 3, adaptada de Adrian R. Bowden, Malcolm R. Lane y Julia H. 
Martin, Triple Bottom Line Risk Management: Enhancing Profit, Environmental 
Performance and Community Benefit, John Wiley & Sons, Inc., 2001). 


Tabla 3: Enfoque semicuantitativo para clasificar los riesgos: consecuencia y 
probabilidad de los impactos 


Consecuencia 
Impacto 
Irñ53ctó impacto catastrófico: 
. p Ep Impacto Impacto E p extenso e 
insignificante: : i importante: ; ie [ose 
específico. de menor: moderado: extenso pero irreversible; 
Probabilidad pec localizado y localizado y : efecto 
un sitio y Ñ . reversible en 
: reversible en reversible en ~ permanente 
reversible en . dos años o 
menos de seis | menos de dos |. a en toda la 
menos de un z irreversible y p 
mes meses años localizado característica 
y pérdida de 
viabilidad 
Casi seguro: se 
prevé que 
ocurrirá 
Probable: 
probablemente 
ocurrirá 


Posible: podría 
ocurrir en 
ciertas 
circunstancias 


Improbable: 
podría ocurrir 
en algún 
momento 


Raro: sólo en 
circunstancias 
excepcionales 


Niveles de riesgo: B=bajo, M=moderado, A=alto, C=crítico. 
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Cuadro 10: Ejemplos de categorías de riesgo para la biodiversidad 


Riesgo crítico. Se planea la explotación minera a cielo abierto en un depósito de roca 
ultrabásica de 1.560 hectáreas, en un área con vegetación de matorral de sabana, 
rodeada por bosques elevados. Se comprobó que este hábitat contiene dos especies de 
planta microendémica, que sólo se ha encontrado en este lugar. Los efectos de la 
destrucción de este hábitat serían catastróficos, pues es el único conocido de estas 
plantas y si se altera de forma permanente, la extinción de esta vegetación estaría casi 
asegurada. 


Riesgo moderado. Se planea construir y operar un parque eólico con 25 turbinas en una 
zona en la que el apacentamiento y la agricultura extensivos han alterado fuertemente el 
hábitat natural. Tras cuatro temporadas de supervisión de la línea base de las aves, no se 
observaron especies amenazadas ni una actividad migratoria importante en la zona. En 
general, el riesgo de colisión para las aves se clasificó como insignificante, pues la 
proporción de la población regional afectada de estas especies sería extremadamente 
pequeña. Sin embargo, es posible que individuos de algunas especies choquen con las 
turbinas durante el período del proyecto. Si bien se estimó que el riesgo de impacto era 
moderado, se recomendó al cliente y a las autoridades del lugar que tomaran en cuenta 
los impactos acumulativos en caso de construirse nuevos parques eólicos en la zona. 


Bajo riesgo. Se construirá una ruta de acceso temporal para camiones, que pasará a 200 
metros del área de anidamiento de una especie de ave en peligro, que usa este hábitat 
entre los meses de noviembre y marzo. Sin embargo, la construcción y el uso de la ruta 
de acceso sólo tendrán lugar entre mayo y septiembre. Tras usarse, la ruta se clausurará 
permanentemente y el hábitat se reparará. Puesto que se está evitando el uso de la ruta 
en ciertos períodos, se consideró que la magnitud del impacto sería menor y se cree que 
es improbable que haya un impacto real. 


8.36. La descripción de la probabilidad y consecuencia de los impactos y categorías de 
riesgo deberá adaptarse a la evaluación específica del impacto en la biodiversidad, 
teniéndose en cuenta el tipo de proyecto y su entorno. Las descripciones de la 
probabilidad y consecuencia casi siempre se basan en una opinión profesional, dado que 
en la mayoría de los casos se carece de datos para cuantificarlos. En todos los casos, las 
categorías de riesgo y sus descripciones deberán especificarse siempre con claridad y 
ser lo más objetivas posible, de modo que al repetirse la evaluación los resultados sean 
similares. 


8.37. Al determinarse la consecuencia de un impacto, su escala deberá considerarse en 
función de la escala de la característica de la biodiversidad afectada y deberá explicarse 
el carácter irreemplazable de la característica, así como su vulnerabilidad. En el caso de 
especies endémicas o tipos de hábitats sumamente localizados, un impacto específico 
del sitio o impacto localizado puede ser catastrófico, en tanto que el mismo impacto en 
una especie muy propagada podría ser insignificante. 


8.38. Los impactos con riesgo crítico o extremo deberán considerarse “importantes” y 
el PAB deberá incluir medidas específicas para su gestión y seguimiento. Los impactos 
con riesgo moderado o bajo deberán mitigarse. 
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8.39. Para hacer una evaluación eficaz del impacto en la biodiversidad, es esencial 
asignar eficientemente los recursos, a fin de garantizar una gestión eficaz de los 
principales riesgos. 


Umbrales cuantitativos de la transformación o degradación del hábitat 


8.40. Alo largo del proceso de evaluación de impactos, el cliente deberá definir o hacer 
referencia a los enfoques establecidos e internacionalmente aceptados que se estén 
usando para seleccionar los criterios y normas que sirvan como umbral para determinar 
su gravedad. 


8.41. Para establecer la gravedad de un impacto deberán tenerse en cuenta sus 
características. Es decir: su magnitud (duración, ámbito espacial, reversibilidad, 
sincronización, frecuencia y posibilidades de mitigación) y la característica de 
biodiversidad afectada (si es reemplazable o no y su vulnerabilidad). La importancia que 
se da al impacto estará determinada por el interés público, el sistema de valores de la 
localidad y el país, los requisitos legales y la aceptabilidad social. El Banco es consciente 
de que, en muchos casos, la determinación de la importancia de un impacto ambiental 
depende del contexto y ha adoptado un enfoque pragmático para hacer esa evaluación, 
de acuerdo con la experiencia adquirida y a la opinión de especialistas. 


8.42. La evaluación del impacto deberá servir para determinar si un proyecto puede 
causar una transformación y degradación serias de hábitats naturales “a secas” o críticos. 
En opinión del Banco, una transformación seria comprende la eliminación o reducción 
aguda de la integridad de un hábitat crítico u otros hábitats naturales, debido a cambios 
importantes y duraderos en el uso de la tierra o del agua. En los ecosistemas terrestres y 
acuáticos, la transformación del hábitat natural puede ocurrir como resultado de una 
contaminación drástica. Esa transformación puede ser producida directamente por las 
obras del proyecto o por un mecanismo indirecto (por ejemplo, la colonización 
propiciada en las cercanías de un proyecto minero o a lo largo de un nuevo camino). La 
degradación se define como /a transformación de un hábitat crítico u otros hábitats 
naturales que reduce considerablemente su capacidad para sostener poblaciones viables 
de especies nativas. 


Conversión significativa de hábitats naturales críticos 


8.43. El Banco define un hábitat natural crítico desde el punto de vista espacial como un 
área protegida existente o propuesta; como lugares que permiten la viabilidad de áreas 
protegidas existentes o propuestas o como zonas no protegidas de alto valor en materia 
de conservación. Estas áreas pueden ser bloques continuos o estar fragmentadas en 
localidades terrestres, marinas o fluviales, en el caso de sitios que son naturales críticos 
para las rutas de especies migratorias. También existen casos en los que un hábitat 
natural crítico puede tener importancia temporal, como las lagunas estacionales o las 
zonas de aluvión. Por consiguiente, para determinar si un proyecto causará la 
transformación o degradación significante de un hábitat natural crítico, es necesario 
comprender sus características espaciales y temporales. 


8.44. La transformación o degradación significativa de un hábitat natural crítico ocurre 
al producirse en él un cambio duradero importante o catastrófico. La determinación de 
su gravedad depende de la dimensión y las características espaciales del hábitat natural 
crítico. La posibilidad de una transformación o degradación significativa aumentará en 
los hábitats que sean menos reemplazables o más vulnerables y en donde los impactos 
sean mayores, menos reversibles y más probables. 
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8.45. En el caso de los hábitats naturales críticos, es especialmente importante 
determinar la posibilidad de que se produzcan impactos significativos, debido a los 
efectos de acumulación. Las zonas con hábitats naturales críticos podrán considerarse 
como tales porque son los últimos lugares que sustentan especies en peligro cuya 
situación es, o ha sido, resultado de la pérdida de hábitat causada por otros proyectos. 


8.46. Se ha demostrado que para las instituciones financieras internacionales no resulta 
práctico establecer límites (por ejemplo, porcentajes o áreas) para determinar si la 
transformación o degradación de un hábitat natural crítico es significativo. Esto se debe 
a que la determinación depende de las características de la biodiversidad afectada, de la 
magnitud espacial y temporal del impacto y de la probabilidad de que ocurra. Es 
evidente que la transformación permanente de 30.000 hectáreas situadas en una reserva 
estrictamente natural de 300.000 hectáreas (un área protegida clasificada en la 
categoría la de la UICN) se consideraría una transformación significante de un hábitat 
natural crítico. También es claro que la pérdida de una parte de las últimas cinco 
hectáreas que quedan de un hábitat forestal único en su género, clave para una especie 
endémica de rana, se consideraría una transformación significante de hábitat natural 
crítico. 


8.47. Evidentemente, la determinación de la significancia depende de la característica 
de biodiversidad, la magnitud y la probabilidad del impacto. Por consiguiente, se 
determinará caso por caso y el BID tomará la decisión final. 


Transformación o degradación significativa de un hábitat natural 


8.48. El Banco define a los hábitats naturales espacialmente, como sitios que brindan 
servicios ecológicos naturales críticos y aseguran la integridad funcional de los 
ecosistemas. Esta definición supone que la escala espacial de los hábitats naturales es 
generalmente mayor que la de los hábitats naturales críticos. 


8.49. Por lo tanto, para determinar la transformación o degradación significante de los 
hábitats naturales, se requieren indicadores absolutos de impacto. En la práctica, esta 
determinación se hace cuando se produce una eliminación duradera de amplias áreas de 
hábitats (por ejemplo, la pérdida de cinco kilómetros cuadrados de hábitat terrestre o 
cinco kilómetros de río) o la pérdida de la capacidad de un área extensa de hábitat 
natural para proveer servicios ecológicos, asegurar la integridad funcional o mantener 
poblaciones viables de especies nativas. En estos casos, el Banco determinará si un 
proyecto producirá una transformación significante del hábitat natural. 
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Cuadro 11: Información adicional para demostrar que la transformación de un hábitat 
natural crítico no fue significante 


El problema. Un proyecto petroquímico en el sur de México pudo seguir adelante, aunque 
tuvo efectos en un hábitat natural crítico para la cicadácea Ceratozamia miqueliana, que se 
encuentra en peligro crítico de extinción. Esta cicadácea es una planta relativamente común 
que está amenazada por exceso de cosecha y pérdida de hábitat. La importancia de las áreas 
para asegurar la supervivencia de la especie se estudió mediante la documentación de las 
poblaciones de Ceratozamia miqueliana en su ámbito tradicional. 


El proyecto. El Proyecto Etileno XXI está situado 8 kilómetros al sudeste de la ciudad de 
Coatzocoalcos, en el estado de Veracruz. El complejo producirá polietileno, un insumo usado 
en la fabricación de plásticos. El proyecto es financiado con ayuda de un préstamo del BID sin 
garantía soberana por US$300 millones y complementado con un préstamo sindicado de tipo 
B de aproximadamente US$300 millones. El BID aprobó la operación en 2012. 


Riesgos e impactos potenciales. Inicialmente, la especie Ceratozamia miqueliana crecía en 
los estados de Veracruz, Tabasco y Chiapas, en el sur de México; pero se estima que en la 
actualidad sólo existe en fragmentos de hábitats en tres localidades. En total, el 95% del 
hábitat original de la cicadácea ha sido destruido, principalmente debido a su transformación 
en pastizales y plantaciones de café. Como consecuencia de esto, la Ceratozamia miqueliana 
está incluida en la Lista Roja de la UICN como especie en “grave peligro”. Se observó la 
presencia de Ceratozamia miqueliana en 109 hectáreas del sitio del proyecto, 79 de las cuales 
se verán afectadas por la construcción. El Banco estimó que éste es un hábitat natural crítico, 
porque es fundamental para la supervivencia de esta especie, en peligro crítico de extinción. 
Sin embargo, la información biográfica parecía indicar que esta especie existía en varias 
localidades no registradas en la evaluación de la Lista Roja. Por consiguiente, el Banco solicitó 
un estudio complementario para actualizar los datos sobre la situación de la especie en su 
área de distribución. 


Conclusiones del estudio. Un equipo de biólogos visitó 14 áreas en las que se había 
notificado la presencia de la especie. Se confirmó que ésta aún existe en áreas en las que se 
daba por supuesto que estaba extinguida. Los resultados confirmaron que sigue habiendo 
poblaciones en al menos 8.250 hectáreas de terreno forestal en tres estados, un hábitat 
mucho mayor que el que se había especificado en la Lista Roja. También se registró la 
existencia de poblaciones robustas en el Parque Ecológico Jaguaroundi, que posee la mayor 
concentración conocida de hábitats de la especie en México. La información provista 
mediante el estudio bastó para que el Banco decidiera que el proyecto no causaría una 
transformación o degradación importantes del hábitat natural crítico. Además, el cliente 
transplantó todos los individuos de la zona afectada a un área protegida y estableció una 
reserva de 100 hectáreas de hábitat similar para la conservación de esta especie, a fin de 
compensar la posible pérdida de hábitat. También se protegerán otras 30 hectáreas en el sitio 
del proyecto (set-aside), que originalmente comprendía 109 hectáreas. 


Lecciones aprendidas. El estudio demostró la importancia de comprender la distribución de 
las especies en peligro en todo su hábitat natural -no sólo en los lugares del proyecto-, para 
proveer la información necesaria para demostrar que un proyecto no provocará una 
transformación o degradación significativa del hábitat natural crítico. En este caso particular, 
la cicadácea era apta para el transplante y había demostrado un historial exitoso de 
transplantes y propagación, asegurando la viabilidad de la opción de compensación. 
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SECCIÓN V. COMPENSACIÓN 


9. Implementación de la jerarquía de mitigación 


9.1. La evaluación de los impactos en la biodiversidad deberá proveer los 
fundamentos para la adopción de medidas destinadas a evitar, minimizar y reparar el 
daño ambiental, de acuerdo con la jerarquía de mitigación (véase el Gráfico 2), a objeto 
de incorporarlas en el PAB. 


Gráfico 2: Jerarquía de mitigación 


1. Evitar 


2. Minimizar 
3. Rehabilitar 


4. Compensar/offset 


9.2. A menudo resulta insuficiente abordar los impactos sobre la biodiversidad en un 
paisaje terrestre o marino exclusivamente a través de una EA del proyecto. La 
conservación de la biodiversidad es compleja y depende de muchos factores. Muchas 
veces, los mayores impactos en la biodiversidad son indirectos o acumulativos y tienen 
características que dificultan la planificación y gestión a través de un proceso de EA. 


9.3. Las decisiones más delicadas -que probablemente afectarán las características 
fundamentales de la biodiversidad- se adoptan frecuentemente en los ámbitos 
sectoriales y de políticas y no durante la preparación del proyecto. Estas decisiones 
incluyen la adopción de políticas nacionales y regionales y planes de uso del suelo, en 
virtud de los cuales ciertos hábitats o ciertas zonas podrían designarse como áreas 
protegidas o podría establecerse la ubicación para el desarrollo del programa. Las 
evaluaciones ambientales estratégicas de desarrollo sectorial que podrían causar 
impactos en la biodiversidad son herramientas importantes para instituir los 
fundamentos necesarios para abordar la pérdida de hábitat y los efectos en la 
conectividad biológica. Estas evaluaciones pueden facilitar una mejor integración del 
plan, del uso del suelo y de la planificación para la biodiversidad; así como también 
suscitar la colaboración entre entidades. El Banco recomienda encarecidamente que los 
programas donde sea probable que haya efectos importantes en la biodiversidad se 
preparen en el contexto de una efectiva planificación de uso de suelos y que se hagan 
evaluaciones ambientales estratégicas. 


Medidas de gestión 


9.4. Son muchas las medidas que pueden adoptarse para evitar, mitigar y rehabilitar 
los impactos en la biodiversidad. La selección de las medidas más apropiadas dependerá 
de los impactos del proyecto, de cuáles sean la característica de la biodiversidad 
afectada y del contexto ecológico, institucional y organizativo general del plan (véanse 
los ejemplos en la Tabla 4). 
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Tabla 4: Ejemplos indicativos de medidas para evitar y mitigar los impactos y reparar los daños que normalmente se 


aplican en sectores que afectan la biodiversidad 


Sector 


Medidas para evitar 
impactos 


Medidas de mitigación 


Medidas de 
reparación 


Medidas que se 
aplican 
comúnmente 
en todos los 
sectores 


Establecer el proyecto 
en un contexto de 
planificación del uso de 
suelos que incluya la 
biodiversidad, evitando 
el uso de hábitats 
naturales críticos y 
situándose en terrenos 
ya transformados; 
minimizar el espacio de 
utilización (la “huella” 
del proyecto) 


Establecer programas de fortalecimiento de la capacidad y educación ambiental 
para las partes interesadas; formular y aplicar normas y especificaciones para 
contratistas, incluidas las sanciones por incumplimiento; prohibir a los trabajadores 
que cacen y recojan características de la biodiversidad 


Agricultura y 


Evitar el uso de 


Maximizar la conectividad entre los hábitats; por ejemplo, en el bosque ribereño; 


Restablecer la 


ganado pesticidas prohibidos conservar áreas situadas a lo largo de vías fluviales; mantener barreras ecológicas | cobertura vegetal en 
con las áreas cultivadas; minimizar la sedimentación y erosión en la construcción | las vías fluviales 
mediante la estabilización de laderas, la siembra de especies de plantas y la 
retención de laderas; cuando sea posible, asegurar la certificación ambiental 
independiente de los productos extraídos o la aplicación de mejores prácticas de 
gestión, sobre todo cuando se usan pesticidas y fertilizantes; emplear métodos de 
control integrado de plagas; asegurar el uso de plantas de tratamiento de aguas 
servidas y la gestión de cuencas hidrográficas; controlar los riesgos de la afluencia 
de población; administrar la demanda de agua y los consiguientes efectos en otros 
usuarios; controlar la introducción de especies invasoras 
Minería Minimizar la sedimentación y erosión en la construcción mediante la estabilización Restablecer las áreas 
de laderas, la siembra de especies nativas de plantas y la retención de laderas; de préstamo con 
minimizar los impactos indirectos controlando el acceso y mejorando la gestión especies nativas; 
del uso de los recursos naturales (incluido el establecimiento de áreas protegidas); | elaborar planes para 
controlar la introducción de especies invasoras; controlar los riesgos de la restaurar el sitio tras la 
afluencia de población; regular los contaminantes de las presas de relaves; terminación del 
administrar la demanda de agua y los consiguientes impactos en otros usuarios proyecto 
Embalses y Establecer el proyecto Proteger las cuencas hidrográficas; formular y aplicar normas y especificaciones Restablecer las áreas 
represas en el contexto más para contratistas, incluidas las sanciones por incumplimiento; minimizar los de préstamo con 


hidroeléctricas 


amplio de planificación 
de la cuenca 
hidrográfica 


cambios del caudal de agua corriente abajo y de la calidad del agua, por ejemplo, 
con diseños y operaciones que permitan minimizar los cambios químicos y 
mantener los regímenes de caudal; establecer un plan ecológico de gestión de 
caudales; construir pasos para peces cuando ello sea posible; minimizar el área de 
aluvión de las represas; minimizar la sedimentación y erosión en la construcción 
mediante la estabilización de laderas, la siembra de plantas y la retención de 
laderas; controlar los riesgos de la afluencia de población; minimizar los impactos 
en especies raras y en peligro mediante rescates de la biodiversidad 


especies nativas 
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Agua y 
saneamiento 


Minimizar la “huella” del 
proyecto 


Proteger las cuencas hidrográficas y los humedales alrededor de áreas de 
suministro de agua; reforestar las vías fluviales; gestionar y desechar el fango de 
dragado; administrar la demanda de agua y los consiguientes efectos en otros 
usuarios 


Rehabilitar las zonas 
de amortiguación 


Energía eólica 


Considerar las rutas de 
migración de los 
murciélagos y las aves; 
minimizar la “huella” del 
proyecto 


Minimizar la mortalidad de aves y murciélagos debida a las colisiones y el 
barotraumatismo; abordar los impactos acumulativos en las rutas de migración de 
los murciélagos y aves 


Desarrollo de 
puertos y 
zonas costeras 


Evitar los arrecifes, las 
playas de anidamiento 
de tortugas marinas, los 
manglares y las rutas de 
migración de especies 
marinas y de estuario 


Proteger los bordes de playa, las praderas de algas marinas, los arrecifes, las 
playas de anidamiento de tortugas marinas y los manglares; controlar los efectos 
del dragado en las especies pelágicas y de fondo marino; regular las descargas de 
buques; controlar las especies invasoras en el agua de lastre; minimizar la 
sedimentación y erosión en la construcción mediante la estabilización de laderas, 
la siembra de especies nativas y la retención de laderas; controlar los riesgos de la 
afluencia de población 


Rehabilitar las áreas 
de préstamo con 
especies nativas 


Infraestructura 
lineal, como 
carreteras, 
ferrovías, 
ductos y líneas 
de transmisión 


Considerar las rutas 
migratorias; proyectar 
la infraestructura para 
minimizar los impactos 
directos en la 
biodiversidad; 
minimizar la “huella” 


Maximizar la conectividad de las aguas usando pasos de agua y puentes; 
maximizar la conectividad de la fauna y minimizar la fragmentación mediante 
pasos de fauna bien concebidos, así como la reducción del DDV; cuando sea 
posible, compartir los corredores con otra infraestructura en línea; minimizar los 
efectos de los obstáculos y la mortalidad causada por colisiones; minimizar la 
sedimentación y erosión en la construcción mediante la estabilización de laderas, 
la siembra de especies de plantas y la retención de laderas; minimizar los impactos 
indirectos de las afluencias de población mediante el control del acceso y el 
fortalecimiento de la gestión del uso de recursos naturales (incluido el 
establecimiento de áreas protegidas); controlar la introducción de especies 
invasoras 


Rehabilitar las áreas 
de procedencia con 
especies nativas; 
reparar los bordes de 
la infraestructura lineal 
usando especies 
nativas 


Productos 
forestales 


Localizar las 
plantaciones en tierras 
ya transformadas 


Proteger las características fundamentales de la biodiversidad; mantener 
funciones ecológicas como regeneración, anidamiento y alimentación; cuando se 
trata de caminos, estudiar las medidas para la infraestructura en línea; controlar 
los desechos químicos, líquidos y de otro tipo, y los contenedores; asegurar la 
existencia de planes de gestión para la extracción de recursos, incluidos la meta 
de extracción sostenible; cuando sea posible, asegurar la certificación ambiental 
independiente de productos extraídos o la aplicación de mejores prácticas de 
gestión; minimizar los efectos secundarios en otras especies, por ejemplo, 
reduciendo los efectos de la explotación forestal; controlar los impactos en otros 
usuarios de recursos y en quienes dependen de ellos 


Pesquerías 


Integrar las actividades 
en el contexto de los 
planes de gestión de las 
pesquerías regionales 


Controlar los desechos químicos, líquidos y de otro tipo, y los contenedores; 
asegurar la existencia de planes de gestión para la extracción de recursos, 
incluidos las metas de extracción sostenible; asegurar la certificación ambiental 
independiente de los productos extraídos o la aplicación de mejores prácticas de 
gestión; minimizar los efectos secundarios en otras especies, por ejemplo, la 
captura incidental; controlar los impactos en otros usuarios de recursos y en 
quienes dependen de ellos 
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Compensación de los impactos residuales 


9.5. Los impactos residuales son los que están relacionados con el proyecto y que 
podrían permanecer tras aplicarse la jerarquía de mitigación, incluidas las medidas para 
evitarlos y minimizarlos. En caso de requerirse compensación, deberá efectuarse una 
revisión de todos los impactos residuales descubiertos mediante el proceso de 
evaluación. En el caso de proyectos que afectan hábitats naturales críticos, el cliente 
deberá acordar con el Banco la adopción de medidas destinadas a compensar impactos 
residuales cuantificables, incluso si no son significativos. 


9.6. En el caso de programas en hábitats naturales que tienen efectos residuales 
importantes, el Banco requerirá que el cliente demuestre que no había alternativas 
viables; que los beneficios globales del proyecto exceden a los costos ambientales y que 
se aplicó adecuadamente la jerarquía de mitigación, incluyendo el establecimiento de 
medidas de compensación. 


Enfoques de compensación para los impactos residuales: medidas de compensación 
por pérdida de biodiversidad 


9.7. Las medidas de compensación/offset por pérdida de biodiversidad no pueden 
usarse para compensar la transformación o degradación apreciables de hábitats 
naturales críticos. Además, deberá haber una compensación por todos los impactos 
residuales (no apreciables) en hábitats naturales críticos. 


9.8. Las medidas de compensación se requieren en proyectos que tendrán impactos 
residuales en las características de biodiversidad de un hábitat natural en la zona de 
influencia del proyecto tras aplicarse una jerarquía de mitigación. 


9.9. El cliente deberá demostrar su adhesión al sistema de jerarquía de mitigación 
como base para aplicar medidas de compensación y presentar un análisis de alternativas 
que indique que no existen opciones viables para el programa. En la EA deberá 
documentarse claramente que se han adoptado todas las medidas pertinentes de 
mitigación y rehabilitación para minimizar los impactos en la biodiversidad. 


9.10. Una vez que se haya determinado que es apropiado aplicar medidas de 
compensación, el cliente tiene dos opciones: Una de ellas es un proyecto ejecutado en 
terrenos privados o públicos que permita restaurar las características degradadas de la 
biodiversidad (medidas de compensación o de restauración). La otra es un plan que evite 
la degradación inminente de esas características o la pérdida de otros equivalentes 
intactos (medidas de compensación para evitar pérdidas). Las medidas de compensación 
de restauración mejoran la condición de las características de la biodiversidad que han 
sido degradados o destruidos, siempre y cuando esto no sea resultado de las actividades 
anteriores del cliente. Las medidas de compensación para evitar pérdidas previenen 
permanentemente la degradación de características intactas de la biodiversidad. Esto 
último puede lograrse protegiendo una porción de hábitat (o colaborando con entidades 
públicas o privadas para asegurar su protección) y financiando su conservación en el 
largo plazo. Para preparar las medidas de compensación, es conveniente que el cliente se 
asocie con entidades privadas o públicas que tengan experiencia en el establecimiento y 
la gestión de proyectos exitosos de conservación. 


9.11. En muchos casos se necesita información adicional para formular medidas de 
compensación, que podrían no haberse considerado en los estudios originales de 
referencia. Esta información incluye un análisis de las características de la biodiversidad 
en una zona más amplia, que abarca áreas propuestas para la compensación que podrían 
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situarse fuera del lugar de influencia del proyecto. Podrían requerirse estudios 
complementarios de la biodiversidad para comprender mejor la taxonomía de las 
especies encontradas en el área, su dependencia del hábitat en la zona de influencia y el 
valor de la biodiversidad. 


9.12. En algunos casos, podrían existir brechas en la información o incertidumbre con 
respecto a la que está disponible. Por lo tanto, el cliente deberá aplicar el principio de 
precaución para diseñar las medidas de compensación, incluida la decisión de no 
proceder hasta que la información necesaria esté disponible o de adoptar un enfoque de 
manejo adaptativo hacia la compensación. 


9.13. El Banco requiere que las medidas de compensación de biodiversidad se adhieran 
a los siguientes principios: 


= Evitar y minimizar los impactos. El objetivo de las medidas de 
compensación/offset no es el de exonerar a los clientes de la responsabilidad 
de evitar impactos en hábitats naturales críticos o no críticos, ni en las 
características de la biodiversidad. Esas medidas deberán tener por finalidad 
compensar los impactos residuales anticipados de un proyecto una vez que el 
cliente haya demostrado su adhesión a la jerarquía de mitigación. 


= Umbral de la compensación. Los impactos residuales no pueden remediarse 
mediante medidas de compensación de biodiversidad en casos de 
transformación o degradación agudas del hábitat natural crítico. 


= Conservación de áreas terrestres y marinas. Las medidas de compensación 
deberán formularse teniendo en cuenta los procesos y funciones ecológicas del 
área en que tienen lugar el proyecto y las medidas de compensación. 


a Adicionalidad. Sólo deberán considerarse como éxitos en materia de 
compensación las mejoras en las características de biodiversidad que no se 
habrían logrado de no haberse adoptado las medidas compensatorias. Estas 
mejoras, denominadas adicionalidad, se producen al reparar características de 
biodiversidad actualmente degradadas o al conservar intactas características 
de biodiversidad que se encuentran en peligro de degradación o pérdida. En 
ninguno de los dos casos la medida de compensación deberá duplicar ni 
reemplazar un proyecto adecuadamente financiado de restauración o 
conservación. No obstante, en algunos casos el Banco aceptará respaldar un 
área actualmente protegida, siempre y cuando pueda demostrarse que ésta 
sufre una escasez crónica de financiamiento y que está en peligro de 
degradación inminente. 


= Escala adecuada. Las medidas compensatorias deberán bastar para compensar 
totalmente los impactos residuales del proyecto tras la aplicación de la 
jerarquía de mitigación. La escala más apropiada podría depender del tipo de 
medida de compensación adoptada. Para compensaciones de restauración, se 
necesitará tiempo para determinar qué características de biodiversidad se han 
perdido. El uso de una escala temporal más larga podría verse compensado por 
el uso de una escala espacial más amplia. En el caso de las medidas de 
compensación para evitar pérdidas, la escala espacial dependerá de la 
proporción de las pérdidas que se están evitando mediante la conservación del 
área. Un proyecto de compensación que establezca o mejore la gestión de un 
área protegida de 100.000 hectáreas que se está perdiendo a un ritmo del 1% al 
año sólo producirá 1.000 hectáreas de créditos de compensación por año, 
aunque el tamaño total de la compensación será de 100.000 hectáreas. El 
Banco podría requerir mayores compensaciones cuando exista incertidumbre 
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en cuanto a la equivalencia ecológica entre las características de biodiversidad 
perdidas y los del área de compensación (offset); cuando las medidas podrían 
simplemente desplazar los efectos perjudiciales a otras áreas en lugar de 
reducir los impactos de manera absoluta o cuando existan otras 
incertidumbres. 


Compensación con valores similares o mayores a la biodiversidad afectada. Los 
offset deberán ser similares -desde el punto de vista ecológico- al área 
afectadas por el proyecto. La similitud deberá estar basada en características, 
estructura y funciones de la biodiversidad y en la diversidad de especies. El 
Banco podría aceptar medidas de compensación para restaurar o conservar un 
área con mayor valor de biodiversidad que la afectada por el proyecto. Para 
validar este “intercambio”, deberá demostrarse que la compensación provee 
mayor valor de conservación, mediante una evaluación técnica y la opinión de 
las partes interesadas. 


Participación de las partes interesadas. Las partes interesadas que se verán 
afectadas por los cambios en el uso de la tierra al aplicarse las medidas de 
compensación deben participar plenamente en la formulación e 
implementación de estas medidas. La participación de los interesados deberá 
ser transparente y oportuna. Esto reviste especial importancia cuando los 
afectados son pueblos indígenas u otras comunidades que dependen del 
bosque. El cliente deberá demostrar que ha celebrado negociaciones y 
acuerdos de buena fe con los indígenas; que ha establecido mecanismos para 
que participen en la gestión del área y que ha asegurado una compensación 
justa por las pérdidas y por la participación en los beneficios derivados de la 
compensación. 


Beneficios de igual o mayor duración que los impactos del proyecto. Los 
beneficios de biodiversidad provistos mediante la compensación deberán tener 
al menos la misma duración que los impactos del programa. Para lograr una 
gestión continua a largo plazo, se necesitan la continuidad de la autoridad legal 
y garantías de disponibilidad de recursos humanos y financieros. Por 
consiguiente, deben crearse protecciones legales y fuentes de financiamiento 
que den carácter permanente al offset; por ejemplo, mediante un fondo 
fiduciario o su inclusión en el financiamiento del proyecto. El financiamiento 
deberá tener carácter contractual, a fin de alcanzar los objetivos para los cuales 
se ha establecido el offset. Si los clientes proponen usar como compensación 
créditos preexistentes, éstos deberán cumplir con los mismos requisitos. 


Las medidas de compensación de biodiversidad deben adoptarse antes de 
producirse los impactos del proyecto. Para minimizar la pérdida temporal de 
biodiversidad en el área del programa, las medidas de compensación deberán 
establecerse y ejecutarse antes de que se produzcan los impactos del plan. Las 
medidas de restauración deben estar en una etapa tal que sea posible 
demostrar que, dentro de un período aceptable, el área restaurada tendrá 
características ecológicas similares a las de la zona que se verá afectada. Las 
medidas para evitar la pérdida de biodiversidad deberán haberse adoptado 
oficialmente al iniciarse los impactos del proyecto y el cliente deberá poder 
demostrar que la compensación permitirá acumular los créditos de 
compensación necesarios dentro de un período aceptable tras producirse los 
impactos del programa. La adopción de esas medidas en las primeras etapas de 
implementación del plan reduce también el riesgo de fracaso si no existe una 
base institucional para la compensación. 
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No deben producirse pérdidas netas. El resultado de las medidas de 
compensación por pérdida de biodiversidad deberá ser la compensación por 
todos los impactos residuales de un plan. Dichas medidas también deberán 
contribuir a evitar pérdidas netas de biodiversidad. Para ello, es necesario evitar 
impactos importantes en hábitats naturales críticos y, en la medida de lo 
posible, también en las características de la biodiversidad; minimizar los 
impactos cuando no sea posible evitarlos; aplicar mejores prácticas de 
restauración; cuantificar y cualificar los efectos en las características de la 
biodiversidad; diseñar medidas de compensación acordes con los principios 
establecidos en este documento y demostrar -mediante una labor de 
seguimiento- que se está alcanzando los objetivos fijados y que no se producen 
pérdidas netas de biodiversidad. 
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Cuadro 12: Medidas de compensación para proveer un santuario para una cicadácea en 
México 

El problema. Se construirá un complejo petroquímico en el sur de México en tierras que 
contienen el hábitat de la cicadácea Ceratozamia miqueliana, que se encuentra en peligro 
crítico de extinción. No obstante, en lugar de plantear una amenaza para la cicadácea, el 
proyecto se traducirá en una mayor protección para el hábitat de la especie, gracias a la 
adopción de medidas que incluyen un offset por pérdida de biodiversidad que salvará 
con creces las pérdidas de hábitat. 


El proyecto. El Proyecto Etileno XXI está situado 8 kilómetros al sudeste de la ciudad de 
Coatzocoalcos, en el estado de Veracruz. El complejo producirá polietileno, un insumo 
usado en la fabricación de plásticos. El proyecto es financiado con ayuda de un préstamo 
del Banco sin garantía soberana por US$300 millones y complementado con un 
préstamo sindicado de tipo B de aproximadamente US$300 millones. El Banco aprobó la 
operación en 2012. 


Riesgos e impactos potenciales. Los restos de población de la especie sobreviven en 
tres localidades en los estados de Veracruz, Tabasco y Chiapas, en lo que queda de su 
hábitat, que tiene el 5% del área original. La planta está incluida en la Lista Roja de la 
UICN como especie en “grave peligro”. La presencia de la cicadácea en el proyecto 
activó la directiva B.9 de la política sobre cumplimiento de normas ambientales del 
Banco, que prohíbe al BID respaldar operaciones que degraden considerablemente 
hábitats naturales críticos. 


No hay pérdida neta de hábitat. Un equipo de biólogos calificados encontró 204 
cicadáceas en el sitio del proyecto, donde las actividades de construcción destruirán 79 
hectáreas de su hábitat; 30 hectáreas de hábitat no se verán afectadas. Las cicadáceas 
situadas en los terrenos de construcción serán temporalmente trasladadas al cercano 
Parque Ecológico Jaguaroundi, de casi 960 hectáreas, que contiene ya alrededor de 
1.000 ejemplares de Ceratozamia miqueliana. En un vivero en el parque se producirán 
retoños de la cicadácea y de otras plantas nativas. Las 30 hectáreas de hábitat no 
afectado en el sitio del proyecto se protegerán como área de conservación. La pérdida 
de hábitat en el sitio del proyecto será compensada con una zona de 100 hectáreas con 
una composición ecológica similar, que será administrada como un offset de 
biodiversidad, con el objetivo de evitar pérdidas netas y, preferiblemente, obtener 
beneficios netos. El offset contendrá parcelas con distintas especies de plantas, incluida 
la Ceratozamia miqueliana, a fin de determinar cuál de ellas restablece mejor el 
ecosistema natural. El sitio será administrado con un PAB preparado en colaboración con 
especialistas y miembros de las comunidades del lugar y tendrá condición de área 
legalmente protegida. Se adoptará un programa de seguimiento para asegurar la 
supervivencia de los ejemplares trasplantados al offset y que las actividades de gestión 
cumplan con los objetivos fijados. Se establecerá un centro docente donde se ofrecerán 
clases y capacitación práctica para la población del lugar, especialmente para los niños. 


Lecciones aprendidas. La planificación de medidas de compensación al comienzo del 
ciclo del proyecto permitió efectuar un estudio de la población de Ceratozamia 
miqueliana en el sitio del programa y en el Parque Jaguaroundi. Los resultados del 
estudio servirán como punto de referencia para determinar si se han producido pérdidas 
netas del hábitat de la especie en peligro y de su biodiversidad en el ámbito del 
proyecto. 
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SECCIÓN VI. PLANIFICACIÓN Y SEGUIMIENTO DE LAS ACCIONES DE BIODIVERSIDAD 


10. Formulación de un plan de acción para la biodiversidad 


10.1. Los proyectos que pueden tener un efecto importante en hábitats naturales 
críticos o no deberán contar con un PAB. Éste deberá integrarse en la EA y el PGAS del 
plan o relacionarse directamente con éstos. El Anexo G contiene una lista de control para 
la gestión de biodiversidad y la preparación de planes de ordenamiento ambiental en los 
programas y el Anexo H contiene un modelo de TdR para estos programas. 


10.2. El PAB tiene como finalidad documentar los compromisos y estrategias 
adoptados por los clientes para abordar los impactos del proyecto sobre la 
biodiversidad, incluidos los requisitos legales, de política y las obligaciones de las partes 
interesadas y los objetivos fijados (entre ellos: la conservación o protección de 
características de alta valor de la biodiversidad u objetivos). 


10.3. Un PAB deberá incluir los siguientes aspectos, que se describen en esta sección: 


= Ámbito de aplicación y objetivos. 

a Marco legal y de política. 

= Delimitación del ámbito espacial. 

= Identificación de las características fundamentales de la biodiversidad. 

= Especificación de los impactos en la biodiversidad. 

= Análisis de las brechas en los conocimientos científicos. 

= Enfoques para evitar y mitigar los riesgos e impactos. 

= Estrategias de compensación de impactos residuales (compensaciones por 
pérdida de biodiversidad). 

= Proceso de participación de las partes interesadas. 

= Mecanismos de implementación. 

=" Capacitación y fortalecimiento de la capacidad. 

=» Programación y presupuesto. 

= Supervisión, evaluación y presentación de informes. 


10.4. Para evitar la duplicación de tareas, el PAB deberá existir como plan de gestión 
independiente, si bien puede hacerse referencia en él a las secciones relevantes del PGAS 
para el proyecto. 


Ámbito de aplicación y objetivos 


10.5. El PAB deberá delinear claramente su ámbito de aplicación y sus objetivos. 
Deberá tener la finalidad manifiesta de evitar toda pérdida neta de biodiversidad y 
demostrarse claramente -con medidas prescriptas- de qué manera lo logrará. 


10.6. La descripción del ámbito de aplicación deberá comprender las actividades, los 
planes y los programas y en ella deberá indicarse qué aspectos no están incluidos en el 
PAB. También deberá describirse la relación que existe entre el plan y otros 
componentes del sistema de gestión ambiental y social del proyecto. 


10.7. En la descripción de objetivos deberá indicarse cuál es la finalidad global y cuáles 
son las metas del PAB en las siguientes áreas: 


a Requisitos legales y de política. 
= Conservación de la biodiversidad y requisitos de protección. 
= Compromisos de las partes interesadas. 
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10.8. Los objetivos deberán estar nítidamente vinculados con las exigencias del Banco y 
los otros prestamistas, tal como se indica en sus políticas y directrices. 


10.9. Ciertos componentes del PAB llenarán las brechas documentadas de la 
información. Esto implica efectuar estudios o evaluaciones complementarios, diseñando 
e implementando medidas adicionales de mitigación para evitar o minimizar impactos o 
rehabilitar daños; asegurar la participación de las partes interesadas; establecer grupos 
de análisis científico o asesoramiento técnico y crear mecanismos de compensación. 


Marco legal y de política 


10.10. El PAB deberá incluir un resumen del marco legal y de política para la elaboración 
del proyecto y su sistema de gestión. También deberá contener referencias sobre la 
legislación nacional y regional pertinentes; los acuerdos ambientales multilaterales; las 
políticas de préstamo del Banco y otras políticas de préstamo que correspondan y las 
políticas ambientales y sociales del cliente. 


10.1. En la sección legal y de política deberán especificarse los requisitos para la 
conservación de la biodiversidad; los aspectos pertinentes de la Estrategia Nacional de 
Biodiversidad y el Plan de Acción; los planes regionales o locales; todos los programas 
nacionales o locales de conservación y las prioridades de las entidades oficiales 
relevantes para el área de influencia del proyecto. Si éste incluye actividades que 
afectarán áreas protegidas, esta sección del PAB deberá presentar un análisis completo 
de la legislación ad hoc y los planes de gestión para esas áreas. 


10.12. Deberán describirse los vínculos del PAB con otros planes y programas dentro del 
sistema de gestión ambiental y social del proyecto, así como también la estructura 
orgánica para su ejecución. 


Delimitación del ámbito espacial 


10.13. Esta sección deberá incluir una delimitación espacial justificada del PAB. Para 
demarcar el área deberán usarse límites relevantes desde el punto de vista ecológico - 
como cuencas hidrográficas o regiones ecológicas- en lugar de fronteras políticas. Las 
áreas de planificación pueden ser más de una si, por ejemplo, existen áreas amplias de 
hábitat transformado entre otras con biodiversidad valiosa. El PAB debe incluir las áreas 
que se han propuesto como de offset y las zonas de amortiguación, en la medida en que 
sea necesario, a fin de proteger las características de biodiversidad de estas últimas o de 
asegurar la conectividad. Por lo tanto, el ámbito espacial podría no coincidir con el área 
de influencia del proyecto. 


Identificación de las características fundamentales de la biodiversidad 


10.14. Esta sección deberá contener un resumen de los resultados de los estudios de 
línea base de biodiversidad para el proyecto, haciendo énfasis en las principales 
características reconocidas de la biodiversidad, incluidas las descripciones de hábitats 
naturales, hábitats naturales críticos y servicios ecosistémicos prioritarios; además de las 
opiniones e inquietudes de las partes interesadas. El resumen deberá incluir también una 
descripción de los recursos de biodiversidad de importancia social, económica y cultural 
para las comunidades locales, con especial énfasis en los pueblos indígenas que podrían 
usarlos, depender de ellos o tener derechos sobre ellos. 


10.15. También deberán describirse el estado de conservación y los rasgos 
fundamentales de las características de la biodiversidad en el área de influencia, 
señalando las amenazas y oportunidades que existan. El Banco recomienda evaluar estas 
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últimas usando la clasificación unificada de amenazas directas (Unified Classification of 
Direct Threats) de Conservation Measures Partnership de la UICN, que provee una base 
coherente y sistemática para describirlas. En los casos en que se propongan medidas de 
compensación, también deberá proveerse información de referencia sobre estas áreas y 
usársela para demostrar similitudes ecológicas (o un mayor valor de biodiversidad, en 
caso de haber un “intercambio”). 


10.16. Cuando sea posible, deberán usarse sistemas cuantitativos o métricos para 
describir las características fundamentales de la biodiversidad. Deberá utilizarse el 
sistema métrico para estimar la abundancia y distribución de especies. En el caso de un 
hábitat, deberá emplearse el sistema métrico para describir el área espacial y su calidad y 
para cuantificar los impactos del proyecto. También deberán cuantificarse las funciones 
importantes del ecosistema, como el valor del hábitat para la conectividad de la fauna 
silvestre, sobre todo si estas funciones no se reflejan bien en las estimaciones métricas 
del hábitat. En el caso de los servicios ecosistémicos, deberán estimarse el volumen, la 
calidad y los valores de mercado, si la información está disponible. 


10.17. Los sistemas métricos y la descripción del régimen de conservación y los rasgos 
fundamentales proveen un punto de referencia para evaluar los futuros cambios; una 
evaluación de antecedentes de los múltiples factores que pueden afectar la biodiversidad 
al no haber un proyecto y una idea de los tipos de intervención necesarios para gestionar 
las medidas de compensación por pérdida de biodiversidad. 


10.18. Deberá prepararse un resumen de todas las estrategias para la biodiversidad; las 
evaluaciones de regiones ecológicas (como los sitios claves para la biodiversidad); los 
estudios e inventarios rápidos en la materia y otros estudios de importancia para el PAB. 


Identificación de riesgos e impactos en las características de la biodiversidad 


10.19. Deberá suministrarse un resumen de la evaluación del impacto en la biodiversidad, 
centrado en los riesgos más relevantes para el logro de los objetivos fijados en el PAB. 
Esta información puede presentarse en una matriz que incluya las características de 
biodiversidad; impactos; medidas de mitigación; impactos residuales; medidas de 
compensación; obligaciones y referencias del PGAS. Cuando sea posible, deberán 
calcularse los impactos del proyecto y los beneficios de la mitigación y su importancia 
deberá clasificarse en función de sus efectos en la viabilidad de las características de la 
biodiversidad. 


10.20. También es necesario definir el PAB en el contexto del PGAS general para el 
proyecto y justificar el PAB, las actividades incluidas en él y su importancia para la 
gestión del riesgo. 


Análisis de brechas en los conocimientos científicos 


10.21. Normalmente, el PAB incluirá actividades destinadas a esclarecer aspectos 
científicos que son objeto de incertidumbre. Es muy posible que existan lagunas en la 
información, sobre todo en zonas fronterizas tropicales, donde los conocimientos 
científicos podrían ser escasos. Éstas pueden incluir incertidumbre en cuanto a la 
taxonomía (por ejemplo, especímenes no identificados como especie); brechas en los 
datos de referencia sobre la abundancia y distribución de determinadas especies; 
deficiencias en la comprensión de procesos ecológicos; incertidumbre sobre la 
importancia de los riesgos e impactos; e incertidumbre sobre la viabilidad y eficacia de 
las medidas de gestión propuestas. 
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Enfoques para gestionar los riesgos e impactos 


10.22. El PAB debe incluir una jerarquía de medidas de gestión, entre las cuales debe 
haber medidas para evitar impactos en las características fundamentales de la 
biodiversidad; para minimizarlos cuando sea posible; para restaurar características 
afectadas y para realizar compensación de biodiversidad para los impactos existentes 
tras la adopción de otras medidas. 


10.23. En el PAB deberá describirse el enfoque usado en el proyecto para aplicar la 
jerarquía de mitigación -que debe ser aplicable en todas sus etapas-, incluidos la 
conceptualización; el análisis de alternativas; el diseño final; la construcción; las 
operaciones; el abandono y el restablecimiento. 


10.24. En el PAB deberán constar a grandes rasgos los componentes del PGAS que son 
relevantes para la gestión de los impactos en la biodiversidad. También deberá contener 
las medidas adicionales específicas necesarias para asegurar el cumplimiento de los 
requisitos y objetivos de biodiversidad del proyecto. Asimismo, deberá dar cuenta de las 
funciones y responsabilidades del cliente, de los empleados, de los contratistas y de otras 
partes en lo que respecta a la gestión e implementación del PAB. 


10.25. El PAB puede consistir en programas, planes y procedimientos detallados o bien 
puede hacerse referencia a los documentos del proyecto en que éstos están contenidos. 
Estos documentos pueden ser el PGAS; los planes de gestión para contratistas, de la 
biodiversidad y ecológica; los planes de restauración biológica; u otros pertinentes. Las 
medidas descriptas en esta sección deben ser prácticas y apropiadas en los contextos 
sociales, económicos y políticos que sean relevantes. 


Proceso de participación de las partes interesadas 


10.26. Las consultas con las partes interesadas y la colaboración con los socios que 
participan en la conservación local son invaluables para la planificación y ejecución de las 
medidas en pro de la biodiversidad. En el PAB deberá darse cuenta del enfoque para 
lograr la participación de los interesados, además de lo siguiente: 


= El proceso de consulta y participación durante la delimitación del alcance del 
proyecto y la preparación del PAB, incluida la identificación de las partes 
interesadas. 

a Un resumen de las principales inquietudes, intereses y recomendaciones de las 
partes interesadas. 

= El marco y plan de acción para una participación constante de las partes 
interesadas. 


10.27. La participación de las partes interesadas en el PAB deberá coordinarse e 
integrarse con las actividades de participación necesarias para la implementación del 
proyecto y otros planes de gestión ambiental y social. 


Mecanismos de implementación 


10.28. En el PAB deben especificarse claramente el marco institucional y orgánico, los 
requisitos de recursos humanos y la fuente de los recursos financieros necesarios para la 
implementación. 


10.29. El PAB también deberá describir qué acuerdos será necesario suscribir con otras 
entidades públicas y privadas para alcanzar los objetivos y metas del plan. En general, las 
entidades asociadas incluyen instituciones de gobierno, organismos de conservación, 
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organismos de investigación y grupos de consultoría con experiencia en áreas 
específicas de la gestión de biodiversidad. 


10.30. En el caso de proyectos especialmente delicados, el cliente podría optar por 
establecer un grupo de especialistas independientes o un comité de gestión de la 
biodiversidad a cargo de proveer orientación objetiva y fiable y de supervisar la 
preparación e implementación del PAB. Estos grupos o comités pueden incluir a 
representantes de las comunidades afectadas, especialmente si las partes interesadas 
incluyen a miembros de pueblos indígenas. 


Capacitación y fortalecimiento de la capacidad 


10.31. El PBA deberá contener una sección en la que se describan las necesidades de 
capacitación para la ejecución y en donde se identifiquen mecanismos para forjar las 
habilidades necesarias. En esta sección deberán detallarse también las necesidades y 
estrategias de capacitación para facilitar la comprensión y ejecución de los componentes 
del plan entre los directores, funcionarios, contratistas, subcontratistas y trabajadores de 
la construcción del proyecto. 


Programación y presupuesto 


10.32. En el PAB deberán señalarse los hitos más importantes e indicarse los plazos para 
su cumplimiento. El programa deberá abarcar lo siguiente: consultas; actividades de 
gestión; seguimiento de la biodiversidad; seguimiento del plan de acción; examen y 
evaluación y requisitos para la presentación de informes. También deberá contener una 
descripción de las funciones y obligaciones y un presupuesto detallado, en el cual se 
estime el costo de las actividades programadas durante la etapa de construcción del 
proyecto, incluido un examen del PAB previo al inicio de las operaciones. 


Seguimiento, evaluación y presentación de informes 


10.33. El PAB deberá tener una sección en la que se describan los enfoques y planes de 
seguimiento y evaluación del proyecto. Esto también se refiere a una descripción de las 
variables de respuesta de la biodiversidad para medir la eficacia de las medidas de 
gestión (incluido el éxito del offset) y ayudar a verificar los cambios en las características 
fundamentales de la biodiversidad. Estas variables pueden constar de estimaciones de la 
superficie del hábitat; la presencia o ausencia de especies; la abundancia de especies 
cruciales; tasas de mortalidad e indicadores de la calidad del hábitat acuático. También 
deberán describirse los calendarios de notificación y los mecanismos para promover la 
participación de las partes interesadas, entre las que se cuentan el Banco, las autoridades 
de gobierno, las comunidades afectadas y el público en general. En esta sección deberá 
delimitarse asimismo una estrategia de gestión adaptativa basada en los resultados de la 
supervisión. 
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Cuadro 13: Programa de supervisión y evaluación de la biodiversidad para el proyecto 
Perú LNG 


El problema. Se preparó e implementó un PAB en el marco de un proyecto a gran escala 
para la explotación de hidrocarburos, con numerosas repercusiones en la biodiversidad. El 
PAB ofrece enseñanzas para la protección de especies y hábitats vulnerables en una amplia 
zona geográfica. 


El proyecto. El proyecto de gas natural licuado de Perú comprende la construcción de un 
gasoducto de 408 kilómetros para transportar el gas natural extraído en la región del Bajo 
Urubamba, en el Amazonas peruano, a una planta de gas natural licuado e instalaciones en la 
costa. El proyecto de US$3.800 millones fue financiado con ayuda de un préstamo del Banco 
por US$400 millones y un préstamo del mismo monto otorgado por bancos comerciales, 
firmados en 2008. 


Riesgos e impactos potenciales. El DDV del gasoducto atraviesa una gran variedad de 
hábitats, incluidos bofedales andinos de altura, que son cruciales para especies singularmente 
adaptadas a ese hábitat. La gran biodiversidad del bosque de montaña comprende especies 
endémicas con distribución restringida de orquídeas y ranas. El matorral de clima semiárido 
ofrece un hábitat para especies raras de aves como el dominiquí peruano (Poospiza 
rubecula). Las zonas ribereñas a lo largo de la costa sirven como corredores y refugios para 
muchas especies vulnerables. 


Plan de acción para la biodiversidad. La preparación del PAB comenzó en las etapas 
iniciales del proyecto, con un análisis de rutas alternativas para el gasoducto y una ElA. Se 
incluyeron seis actividades adicionales para crear un enfoque múltiple, de la manera que 
sigue: 


= Mediante un estudio ecológico sobre el terreno se reconocieron 14 lugares a lo largo 
de la ruta con DDV, con una descripción de los hábitats que había en todos ellos. Un 
equipo multidisciplinario que caminó a lo largo de la ruta determinó la vulnerabilidad 
de las especies de acuerdo con su situación de conservación, su endemismo, el uso de 
las comunidades locales y la movilidad. 


= En los planes de gestión ecológica se enuncian medidas específicas de mitigación en 
los 14 sitios, cada uno de ellos con planes independientes de acción ecológica. 


= Se adoptó un plan de gestión para restaurar la vegetación a lo largo del DDV. El 
objetivo a largo plazo es restablecer la vegetación nativa y los procesos ecológicos y 
recuperar la biodiversidad que existía antes de la construcción. 


= Se elaboró un plan de gestión de camélidos de acuerdo con datos sobre rebaños, 
fuentes de agua y áreas de apacentamiento, recopilados mediante grupos de trabajo 
compuestos por más de 630 miembros de la comunidad. 


= El Programa de seguimiento y evaluación de la biodiversidad (PSEB) documenta la 
distribución y abundancia de especies y hábitats a lo largo de la ruta con DDV y marca 
los avances que se han logrado en el restablecimiento de la biodiversidad y otros 
programas de mitigación. Los nuevos conocimientos sobre la biodiversidad local 
servirán como fundamento para la investigación y la verificación de protocolos para 
especies y hábitats vulnerables. El PSEB está en manos del Centro para la 
Conservación, Educación y Sostenibilidad del Instituto Smithsonian. En él colaboran 
50 investigadores provenientes de 13 institutos de investigación, muchos de ellos 


66| Pagina 


peruanos. 


= Un programa de inversión ambiental usa datos ambientales y sociales elaborados en el 
marco del PAB para aprovechar las oportunidades de utilizar mejor los recursos 
naturales. El primer programa se centró en mejorar la salud de la población de 
camélidos. 


Lecciones aprendidas. El PAB está demostrando los beneficios de darse el tiempo necesario 
para efectuar estudios de delimitación, reunir datos en varias estaciones y cultivar alianzas 
estratégicas. La aplicación de una perspectiva del terreno asegura que se considerarán 
adecuadamente las necesidades de especies con territorio amplio, así como también los 
procesos ecológicos de gran escala. El PAB pone de relieve también los beneficios de 
colaborar con un organismo internacional de investigación como vehículo para traspasar 
conocimientos a los científicos y estudiantes peruanos y proveer oportunidades para 
proyectos de tesis. 


11. Supervisión de la biodiversidad 


11.1. La supervisión de la biodiversidad proporciona información, en escalas espaciales 
y temporales apropiadas, para calcular el impacto de los proyectos en las características 
de la biodiversidad y verificar la eficacia de las medidas de gestión. 


11.2. Esta supervisión tiene como propósito evaluar las variables de respuesta a lo largo 
del tiempo. Estas variables son los indicadores que se medirán y registrarán durante la 
supervisión y deberán identificarse en los estudios de línea base. Las variables de 
respuesta deberán ser reflejo de las características fundamentales de la biodiversidad en 
el área de influencia del proyecto; por ejemplo, el número de jaguares observados 
durante un mes con cámaras ocultas. Las variables de respuesta seleccionadas deberán 
habilitar al cliente para efectuar las siguientes tareas: 


= Describir la tónica del cambio y reconocer cambios inesperados o imprevistos 
para permitir ajustes en los planes de gestión mediante un manejo adaptativo. 

= Responder preguntas específicas relacionadas con las variables de respuesta o 
los factores que las afectan. Por ejemplo, para determinar si ciertas medidas de 
mitigación tienen el efecto deseado. (Los factores pueden ser impactos del 
proyecto o medidas de mitigación aplicadas.) 


1.3. No es posible, viable ni necesario hacer un seguimiento completo del área de 
influencia del proyecto. El seguimiento deberá ocuparse principalmente de las 
características fundamentales de la biodiversidad para los cuales se estén 
implementando medidas de mitigación y de los indicadores de población, especies, 
hábitats o niveles de servicios ecosistémicos que permitan verificar el estado de salud del 
ecosistema. 


11.4. Esta descripción del seguimiento sólo conlleva un entendimiento de los efectos 
biológicos de los impactos o los resultados de las medidas de gestión, más que la 
entrega actual de los productos derivados de los planes de gestión. 


11.5. Los planes de supervisión deberán integrarse mediante un enfoque de manejo 
adaptativo, descripto en el PAB. Esto incluye un detalle preciso de las medidas de 
gestión propuestas que se pondrán en ejecución si los indicadores de supervisión 
alcanzan determinados umbrales. 
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Planificación de la supervisión de la biodiversidad 


1.6. La labor de supervisión y evaluación de la biodiversidad deberá detallarse 
exhaustivamente en el PAB, que también deberá indicar qué variables de respuesta se 
medirán, cuándo, con qué escala espacial, quién hará la medición y cómo. También 
deberá explicarse cómo se analizarán y usarán los datos. 


11.7. La supervisión de la biodiversidad deberá vincularse -lógica y logísticamente- con 
otros tipos de seguimiento; por ejemplo, para monitorear el cumplimiento de normas 
sobre calidad del agua y, al mismo tiempo, cuantificar los cambios en las variables de 
respuesta de la biodiversidad. 


1.8. Para la supervisión deberá contarse con financiamiento adecuado, personal 
competente con conocimientos especializados (incluidos, de ser necesario, especialistas 
en taxonomía y en ecología; e individuos con capacidad de gestión y análisis de datos 
que hayan participado desde la etapa de diseño). También deberá contarse con el 
equipo necesario para asegurar una implementación eficaz. En el plan deberán 
describirse asimismo los mecanismos institucionales y organizativos y las necesidades en 
materia de fortalecimiento de la capacidad. 


11.9. El plan de seguimiento de la biodiversidad deberá contener: 


= Los interrogantes que se responderán mediante la supervisión. 

a Un diseño realista en el que se indiquen los aspectos espaciales y temporales 
del muestreo, incluidas las muestras de regulación, en la medida en que se 
necesiten. 

= Los factores cuyos impactos se examinarán. 

= Las variables de respuesta que se cuantificarán. 

= Las metodologías específicas que se aplicarán para hacer las mediciones. 

= Los métodos usados para reunir, gestionar y analizar datos, incluidos los 
controles de calidad de éstos. 

a La metodología usada para interpretar y presentar los resultados de la 
supervisión, a fin de facilitar la toma de decisiones. 


Planteamientos adecuados para la supervisión de la biodiversidad 


11.10. Las preguntas planteadas a los fines de la supervisión deberán ser simples y 
específicas, de modo de poder determinar la variable de respuesta que se cuantificará y 
también para identificar los factores que afectan esa variable. Deberá demostrarse que el 
plan de seguimiento permitirá responder las cuestiones planteadas. 


11.11. Los interrogantes seleccionados para el seguimiento deberán ser pertinentes y 
específicos. Deberán ayudar a comprender los principales impactos en las características 
fundamentales de la biodiversidad y a determinar “cómo”, “qué”, “dónde” y “cuándo” se 
producen, en lugar de “por qué”. Por ejemplo, ¿cuál es la diferencia entre las tasas de 
colisión de aves con una línea de transmisión en la estación seca y en la estación 
húmeda? ¿Qué cambios se han registrado en el número de observaciones de mamíferos 
de gran tamaño en un nuevo camino? En muchos casos no es posible responder los “por 
qué”. 


11.12. Las preguntas pueden centrarse en el seguimiento de posibles cambios 
imprevistos en las características fundamentales de la biodiversidad como resultado del 
proyecto. Por ejemplo, ¿cómo varía el número de especies de peces a lo largo del tiempo 
tras la construcción de una represa? ¿Se producen cambios en el comportamiento de los 
murciélagos tras la construcción de un parque eólico? 
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11.13. Los interrogantes pueden centrarse también en respuestas específicas sobre la 
eficacia de las medidas de mitigación. Por ejemplo, ¿es mayor que en otras áreas el 
número de jaguares que cruzan el camino en los puntos de convergencia? ¿Existen 
diferencias entre el número de primates observados en las áreas retiradas del proyecto y 
aquéllos observados en las zonas circundantes? 
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Cuadro 14: Lecciones aprendidas de la supervisión de la biodiversidad en un proyecto de 
energía a gran escala 


El problema. Dos operaciones respaldadas por el Banco para extraer y transportar 
hidrocarburos a gran escala produjeron reacciones negativas en todo el mundo, debido a su 
supuesto impacto en la biodiversidad y la población local. El problema era demostrar que el 
desarrollo y la protección de la biodiversidad pueden correr paralelos. En parte, el proceso 
consistía en crear un sistema de supervisión a largo plazo que suministrara los datos 
necesarios para el manejo adaptativo de los impactos. 


Los proyectos. El Proyecto de Camisea, de US$1.700 millones, tiene por finalidad extraer y 
procesar gas natural en el Amazonas peruano central y transportarlo a través de 714 
kilómetros de gasoductos a una planta de fraccionamiento y una terminal marina situada al 
sur de Pisco, en la costa, y a Lima. El Banco ayudó a financiar el proyecto con préstamos por 
US$135 millones aprobados en 2003. Un préstamo adicional de US$5 millones al gobierno de 
Perú se usó para financiar el fortalecimiento institucional para la supervisión ambiental y 
social. El Proyecto Perú LNG, que tiene un costo de US$3.800 millones, transporta gas 
natural a través de 408 kilómetros de gasoductos a una planta y una terminal marina 
situadas en la costa, al sur de Pisco. El Banco ayudó a financiar el proyecto con un préstamo 
por US$400 millones y de un préstamo similar otorgado por un grupo de bancos 
comerciales en 2008. 


Riesgos e impactos potenciales. Los proyectos crearon importantes riesgos para la 
biodiversidad de la región. Los gasoductos atraviesan tres ecosistemas vulnerables. La planta 
de fraccionamiento está situada en la zona de amortiguación de la Reserva Nacional de 
Paracas. En ambos proyectos se establecieron sistemas de supervisión para suministrar 
datos, a fin de cuantificar los impactos durante la duración del proyecto y dar aviso 
anticipado de los cambios. 


Lecciones aprendidas de la supervisión comunitaria. El proyecto adquirió valiosa 
experiencia en la capacitación de miembros de la comunidad local para efectuar actividades 
de supervisión. En la zona del Bajo Urubamba, y a lo largo del gasoducto, más de 100 
investigadores indígenas colaboran con sus contrapartes profesionales. Los participantes 
locales enriquecen el proceso de supervisión con sus conocimientos del medio ambiente de 
la zona. En el caso del Proyecto Camisea, esta labor de vanguardia experimentó ciertas 
dificultades, especialmente en lo relativo a asegurar una comunicación eficaz con las partes. 
Los supervisores de la comunidad proporcionaban informes a la ONG peruana Pronaturaleza, 
que los hacía llegar a la empresa para evaluarlos y que se adoptaran las decisiones 
pertinentes. Los supervisores perdían credibilidad frente a la comunidad cada vez que la 
empresa se demoraba en adoptar las medidas del caso. 


Lecciones aprendidas. Al contratar a la misma empresa constructora y a la misma ONG, 
Perú LNG aprovechó la experiencia adquirida por Camisea en materia de supervisión. Esto 
reforzó el programa comunitario de supervisión, ya que se creó un nuevo sistema de gestión 
ambiental, con el desarrollo de una página web para fines de supervisión. Además, Perú LNG 
simplificó las líneas de comunicación entre los supervisores de la comunidad y la empresa. El 
gasoducto de Perú LNG sigue la ruta del gasoducto de Camisea, lo cual facilita la supervisión 
conjunta en 128 sitios durante las estaciones seca y húmeda en un corredor de entre 3 y 7 
kilómetros de DDV. En las actividades de supervisión participan más de 50 investigadores de 
13 organizaciones de investigación y universidades, en colaboración con el Instituto 
Smithsonian. Esta labor conjunta fortalece la capacidad de supervisión de los profesionales 
peruanos y favorece la aplicación de metas ecológicas y de conservación, así como también 
la capacidad de los supervisores comunitarios, que aprenden al trabajar en paralelo con sus 
contrapartes. 
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Diseño de los estudios de supervisión de la biodiversidad 


11.14. Mediante la supervisión pueden cuantificarse los cambios en las variables de 
respuesta a lo largo del tiempo en la misma localidad o pueden compararse las 
diferencias entre las variables de respuesta en dos o más localidades distintas. En el 
diseño del estudio de supervisión de la biodiversidad deberán incluirse: una descripción 
de la distribución espacial y el número de sitios de muestreo; los datos que es necesario 
reunir; la frecuencia de la reunión de datos y el período en que se hará la supervisión. 


11.15. Las características temporales y espaciales del estudio dependerán de las 
cuestiones planteadas y de las variables de respuesta que se midan. Por ejemplo, si el 
asunto guarda relación con los efectos directos e inmediatos de la construcción y la 
eficacia de las medidas de gestión, el muestreo deberá efectuarse antes, durante y 
después de la construcción, con intervalos adecuados para detectar cambios. Si el asunto 
planteado se relaciona con la eficacia de una medida de compensación para proteger 
jaguares, la supervisión tendrá lugar durante un período muy prolongado y con 
frecuencia consistente con el ciclo de vida del jaguar. 


11.16. La determinación de las causas de los cambios detectados durante la supervisión 
puede verse dificultada por otros factores que también varían con el tiempo, como las 
estaciones, el clima o factores situados fuera del ámbito espacial del proyecto. En el 
diseño del plan, estos factores pueden tenerse en cuenta mediante un seguimiento 
directo o a través de controles paralelos adecuados y un análisis estadístico. Es 
importante establecer controles, pues las diferencias entre dos lugares pueden ser el 
resultado de factores variables que podrían no estar relacionados con el impacto de un 
proyecto, como las diferencias de suelos o hábitats, u otras presiones antropogénicas. 
Con un sistema eficaz de muestreo se pueden controlar otras fuentes de variación, 
minimizando las diferencias entre los factores controlados y los sitios afectados, 
registrando las diferencias patentes entre los sitios y haciendo un análisis adecuado de 
los datos. 


11.17. Los cambios en la biodiversidad podrían ser lentos y podría haber importantes 
desfases entre el impacto y sus consecuencias. Esto deberá tenerse en cuenta al 
considerar la escala espacial y temporal del plan de supervisión. 


Definir el área de muestreo 


11.18. Durante la supervisión podrían compararse indicadores de variables de respuesta 
antes (la referencia) y después de producirse un impacto del proyecto; o tras la 
implementación de las medidas de gestión o podrían compararse indicadores de 
variables de respuesta en diferentes localidades: unas que hayan experimentado el 
impacto y otras que aún no lo hayan experimentado. 


11.19. El diseño de supervisión deberá incluir una descripción del área en la que se hará 
el muestreo, por ejemplo, una sección de bosque o de río. Esta área deberá estar 
claramente delineada y guardar relación con las cuestiones planteadas y el v que se 
examina. Por ejemplo, si la cuestión planteada se refiere a los cambios en “una sección de 
aguas rápidas que contiene especies endémicas de peces”, el área de muestreo abarcará 
las aguas rápidas dentro del área de influencia del proyecto -y más allá- que ofrecen un 
hábitat adecuado para esas especies. En muchos casos, las muestras no son 
independientes entre sí, debido a la conectividad en el hábitat; de modo que, al 
prepararse la muestra, habrá que asegurarse de que esa falta de independencia se tenga 
en cuenta en el análisis. Es importante asegurar la independencia de las muestras, pues si 
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la variación básica no se distribuye al azar entre las muestras, los resultados de la 
supervisión pueden malinterpretarse. 


11.20. La escala espacial de la supervisión dependerá de las variables de respuesta que 
son objeto de ella; por ejemplo, la escala para tomar muestras de los cambios en la 
población de ranas de árbol será distinta que la usada para tomar muestras de los 
cambios en la población de jaguares. En el diseño de la supervisión deberán incluirse 
distintas escalas espaciales; por ejemplo, examinando directamente los cambios en la 
población de especies en porciones de hábitat, pero examinando también trayectorias de 
cambio más amplias en el paisaje. 


Definir las variables de respuesta 


11.21. En el plan de supervisión deberán describirse las variables de respuesta que se 
quieran medir. Pueden ser indicadores cuantitativos o cualitativos que provean una 
forma simple y fiable de resolver las cuestiones planteadas. Las partes interesadas 
deberán comprender fácilmente estas variables de respuesta y el método usado para 
medirlas; las variables deberán ser fácilmente medibles y la medición deberá hacerse 
dentro de los plazos y con los recursos disponibles. La medición deberá ser confiable en 
términos de mediciones repetibles y sensible a los cambios. 


11.22. Las variables de respuesta incluyen el conteo directo de individuos de una 
especie, la presencia o ausencia de especies, el éxito en la reproducción o el área del 
hábitat. En el caso de los impactos en especies raras y endémicas, pueden usarse 
indicadores de abundancia (por ejemplo, mediante una inspección de huellas, señales o 
nidos). En el caso de especies muy raras, el monitoreo con radios puede ayudar a seguir 
los movimientos de los individuos. Para describir cambios en la calidad del hábitat, puede 
usarse la abundancia relativa de grupos indicativos, como las mariposas, las aves, los 
escarabajos y las comunidades de plantas. 


11.23. La Iniciativa de Energía y Biodiversidad provee amplias directrices para la 
selección de indicadores de la biodiversidad para supervisar los impactos y las medidas 
de conservación. 


Definir los factores que afectan las variables de respuesta 


11.24. En el diseño de la supervisión deberán contemplarse los factores que se 
estudiarán por su intermedio. Éstos dependerán de las cuestiones planteadas y 
guardarán relación con los principales impactos en las características de la biodiversidad 
o la eficacia de las medidas de mitigación en ellos. En ciertas circunstancias, estos 
factores podrían tener impactos en distintos grados; por ejemplo, podría ser necesario 
examinar los efectos de los distintos caudales mínimos de una represa a fin de obtener 
datos para un manejo adaptativo. 


Reunión, gestión, análisis y evaluación de datos 


11.25. Los datos reunidos mediante la supervisión deben ser administrados, analizados y 
evaluados. Frecuentemente se reúnen grandes cantidades de datos básicos sin tomar en 
consideración cómo administrarlos en una base de datos o cómo transformarlos en 
información útil para la toma de decisiones. 


11.26. En la sección sobre supervisión y evaluación del PAB, deberán describirse los 
procedimientos de reunión, gestión y análisis de datos (incluidos métodos de inferencia 
estadística). También deberá explicarse de qué manera se presentarán (por ejemplo, con 
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gráficos, diagramas o informes escritos) y cómo se evaluarán para usarlos en la toma de 
decisiones (incluidos, cuando sea relevante, umbrales cuantitativos que representen 
cambios cruciales de importancia biológica). 


1.27. La participación de la comunidad en la reunión, gestión, análisis y evaluación de 
los datos es un mecanismo eficaz para promover el interés de la población local y deberá 
incluirse cuando sea posible. 


Uso de la información obtenida mediante la supervisión 


11.28. La información producida mediante un programa de supervisión deberá ponerse a 
disposición de las partes interesadas, de manera concisa y clara. Entre ellas: las 
comunidades locales afectadas por el proyecto; las entidades gubernamentales; los 
especialistas en biodiversidad, el equipo a cargo de ejecutar el proyecto y los 
financiadores. Estos grupos podrán tener interés en distintos tipos de información. El 
gobierno o los financiadores del proyecto podrán estar más interesados en los 
indicadores agregados de la biodiversidad. En tanto, las comunidades locales se 
interesarán más en entender los efectos del proyecto en determinadas aldeas o grupos 
dentro de la aldea. Además, la información presentada a los interesados deberá ser 
fácilmente comprensible. De lo contrario, podría ser rechazada. Los requisitos de las 
distintas partes en cuanto a la presentación de los datos deberán incorporarse en el PAB. 


11.29. La información obtenida mediante la supervisión deberá incorporarse a un plan de 
manejo adaptativo, que describa las medidas de gestión que se adoptarán si los 
documentos de la supervisión demuestran que los indicadores de las variables de 
respuesta cruciales han sobrepasado umbrales decisivos. 


Otros aspectos a considerar 


11.30. Un elemento importante de los programas de supervisión de la biodiversidad a 
largo plazo es la capacitación de los profesionales y miembros de la comunidad local, así 
como de los biólogos sobre el terreno o de los para-biólogos. 


11.51. En el PAB deberá indicarse la procedencia del financiamiento a largo plazo para 
las actividades de supervisión de la biodiversidad. 
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Anexo A. Obtención de datos espaciales para proyectos respaldados por el Banco 


La elaboración -durante la etapa de delimitación del alcance- de un mapa del área del 
proyecto propuesto es una de las formas más fáciles de determinar la probabilidad de 
que surjan problemas ambientales y sociales asociados con él. Desafortunadamente, los 
mapas no siempre están disponibles en las propuestas. Incluso cuando lo estén, podrían 
no contener la información necesaria para determinar los posibles impactos de un 
programa en las áreas cercanas al hábitat natural. El Banco utiliza un instrumento de 
análisis espacial, denominado DSS (Decision Support System), para levantar planos de la 
localidad de un proyecto y determinar si coincide con hábitats naturales críticos. 


En la mayoría de los casos, el cliente levanta planos del área del proyecto y su espacio de 
utilización y componentes conexos están disponibles en sistemas de información 
geoespacial (SIG o, por sus siglas en inglés, GIS, Geospatial Information Systems) o 
formato CAD (diseño asistido por computadora). La información deberá ser 
proporcionada al Banco a fin de evitar los errores que pueden producirse al traspasar los 
datos sobre la magnitud de la huella del proyecto desde archivos .pdf o .j¡peg. 


A continuación, se detallan las herramientas ideales para incorporar datos en el DSS: 


a El paquete de capas ArcGIS (archivo .lpk). Un paquete de capas es un archivo 
único, conveniente y listo para su uso, que contiene un grupo de mapas ArcGis 
y los datos que utiliza. Este sistema es ideal para recibir los datos del proyecto, 
pues se pueden cargar directamente en el DSS. También puede contener 
múltiples capas de información, lo cual evita tener que recibir las series de 
datos como archivos separados. 

= Archivo ArcGIS Shape (archivo .shp). Los archivos Shape constituyen un 
sistema simple para archivar la ubicación geométrica y aplicar la información 
sobre características geográficas. Los accidentes geográficos contenidos en un 
archivo Shape pueden presentarse como puntos, líneas o polígonos (áreas). El 
especialista en DSS del Banco deberá convertir el archivo para poder cargarlo 
en el DSS, pero ese proceso es relativamente rápido. Al suministrar los datos al 
Banco, deberá indicarse claramente qué proyección -o nivel de referencia- se 
usó para crear el archivo Shape (la proyección actualmente usada es WGS 
1984). 


Los dos formatos siguientes, si bien son aceptables, requieren tiempo adicional para 
convertirlos y usarlos en el DSS. Si los formatos descriptos anteriormente no están 
disponibles, deberán usarse éstos: 


= Archivos de datos GPS (archivos .gpx). Estos archivos contienen datos 
obtenidos con un sistema de posicionamiento global. Pueden incluir puntos 
geográficos y rutas. 

= Keyhole” Markup Language (archivos .kml o .kmz). El KML es una gramática 
XML y un formato de archivo para la creación de modelos y el almacenamiento 
de datos geográficos como puntos, líneas, imágenes y polígonos. Suele usarse 
para representar datos visualmente en Google Earth. 

= Los archivos DWG “georreferenciados” con el sistema CAD deberán convertirse 
al archivo Shape y posteriormente convertirse de nuevo para cargarlos en el 
DSS. 


Si ninguno de estos formatos está disponible, deberán proveerse al menos las 
coordenadas geográficas para todas las secciones del proyecto. Estas coordenadas 
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pueden expresarse en grados, minutos, segundos, grados en decimal o incluso en UTM 
(Universal Transverse Mercator). 


Si la propuesta para un proyecto o la ElA contiene un mapa, es probable que éste se 
haya realizado usando sistemas de información geoespacial (SIG). La información 
necesaria probablemente esté disponible, aunque al solicitarla a los consultores y 
contratistas es esencial pedir datos específicos. Cuando sea posible, es recomendable 
incluir datos con “georreferenciación” como un producto a ser entregado, en los TAR de 
los contratos correspondientes. 
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Anexo B. Listas de control para delimitar el alcance de los impactos en la 
biodiversidad y los servicios ecosistémicos 


Etapa de | Efectos potenciales en la biodiversidad y los servicios ecosistémicos 
proyect 
° 

= Cambios en el uso del suelo debido a los cambios en el acceso que 

afectan el hábitat en el área de influencia del proyecto 
Ku; 5 = Desmonte antes de la construcción, que causa pérdida directa de hábitat 
i 9 = Restricciones para el uso y acceso a la tierra y los usos para los pueblos 
oJ indígenas u otro uso público en el área de influencia 
oh = Dragado de ríos y zonas costeras para mejorar el acceso 
š 5 = Estudios de investigación que perturban el hábitat; por ejemplo, los 
O 


estudios sísmicos en la exploración de petróleo y gas 


Construcción 


= Contaminación de hábitats naturales críticos, vías fluviales y humedales 
debido a la erosión, la emisión de partículas, las aguas residuales y la 
gestión inadecuada de productos químicos 

= Aumento de la demanda de recursos locales en los campos de trabajo y 
por parte del personal de construcción, lo cual afecta el suelo, el agua, el 
hábitat y las especies 

= Mayor uso de caminos de acceso, lo que afecta el hábitat debido a la 
fragmentación y el acceso público a los recursos 

= Nueva infraestructura lineal, como las líneas de transmisión, muelles, 
carreteras o ductos, que producen fragmentación 

= Transformación directa de hábitats terrestres y acuáticos debido a la 
construcción; por ejemplo, el llenado de las reservas o la reducción en el 
flujo en la construcción de represas 

= Introducción de especies invasoras al trasladar plantas para restaurar la 
vegetación 

= Extracción de material de construcción o creación de zonas de depósito 
que transforman hábitats naturales críticos 
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Operación 


Contaminación de hábitats, vías fluviales y humedales debido a la erosión, 
la emisión de partículas, aguas residuales o gestión inadecuada de 
productos químicos 

Aumento de la demanda de recursos locales debido a la afluencia de 
trabajadores, lo cual genera impactos sobre el agua, el hábitat y las 
especies y podría también afectar el uso de los recursos en la zona 

Mayor uso de carreteras de acceso, lo que afecta el hábitat debido a la 
fragmentación y modifica el acceso del público a los recursos 

Impactos directos en la biodiversidad; por ejemplo, las colisiones de aves 
y murciélagos en parque eólicos y líneas de transmisión o represas que 
bloquean las rutas de migración 

Cambios en la calidad del agua que afectan el hábitat corriente abajo 
debido a los cambios hidrogeológicos y en la composición química del 
agua en los embalses 

Gestión insostenible de los recursos naturales usados para la producción, 
lo cual causa pérdidas de hábitat o reduce la disponibilidad del recurso; 
por ejemplo, el uso insostenible de recursos forestales, que produce la 
degradación del bosque o niveles de pesca insostenibles 
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Anexo C. Listas de control para los estudios de línea base de biodiversidad 


Alcance y objetivos 


a ¿Se enuncian claramente los objetivos en el estudio de línea base? 


= ¿Se 


hace referencia a la legislación nacional pertinente, a los acuerdos 


internacionales y a las políticas del Banco? 


Examen y evaluación de la información disponible, centrados en la biodiversidad y 
los servicios ecosistémicos 


= ¿Contiene el estudio de línea base un resumen y síntesis de los conocimientos 
sobre la biodiversidad en el área de influencia del proyecto, basados en un 
examen de las publicaciones existentes, bases de datos, estudios no publicados 
y consultas con los principales especialistas de la región? 

= ¿Contiene el estudio de línea base los siguientes elementos? 


a 


Delimitación 


= ¿Se 


a 


= ¿Se 


Examen de las evaluaciones del impacto ambiental existentes o los análisis 
del impacto ambiental y social relevantes para el área de influencia del 
proyecto. 

Examen de las características biogeográficas y de la configuración del 
paisaje en el área de influencia. 

Identificación de las especies incluidas en la Lista Roja de la UICN, en las 
categorías de “casi amenazada”, “vulnerable”, “en peligro” o “en peligro 
crítico” de extinción, que existen o podrían existir en el área de influencia. 
Delimitación de los tipos de hábitats o ecosistemas vulnerables o 
amenazados. 

Identificación de especies migratorias y de corredores de migración 
esenciales. 

Resumen de información sobre áreas protegidas o áreas clave para la 
biodiversidad en la zona de influencia. 

Especificación de las amenazas existentes para la biodiversidad y los 
servicios ecosistémicos. 

Identificación de las principales partes interesadas de la sociedad 
(comunidades afectadas). 

Examen de la fiabilidad y las brechas en la información disponible. 
Identificación de expertos, incluidos ONG, instituciones e investigadores 
independientes. 

Lista de referencias y fuentes de datos usados. 


del área de influencia del proyecto y del área del estudio 


describe en el estudio de línea base el área de influencia del proyecto? 
¿Existen en el área de influencia los servicios necesarios y corredores de 
transporte? 

¿Se describen en el estudio de línea base los paisajes terrestres y marinos 
en el área de influencia? 

indican en el estudio de línea base emplazamientos situados fuera del área 


de influencia que podrían servir como sitios de control o referencia durante la 
etapa de supervisión? 
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¿Se describen en el estudio de línea base la metodología y los criterios usados 
para determinar el área de influencia? 

¿Contiene el estudio de línea base descripciones y mapas de las áreas de 
influencia directas e indirectas? 

Independientemente de si se consideran directas o indirectas, ¿incluye el área 
de influencia zonas que estén sujetas a impactos causados por emisiones 
atmosféricas, descargas de aguas residuales, cambios en la cantidad y calidad 
del agua corriente abajo, ruido, contaminación lumínica, eliminación de residuos 
sólidos y otros efectos importantes del proyecto? 


Identificación de posibles hábitats naturales críticos 


¿Se indican en el informe de delimitación del alcance las características 

fundamentales de la biodiversidad conocidos en el área de influencia del 

proyecto? 

¿Se hizo esta identificación de acuerdo con un proceso de preevaluación, el 

examen de la información disponible, el proceso de consulta y las visitas de 

campo efectuadas durante la preevaluación o el estudio de delimitación del 

alcance? 

¿Permite el análisis de los hábitats naturales críticos responder las siguientes 

preguntas? 

s ¿Podría considerarse que el área es sumamente apropiada para la 
conservación de la biodiversidad? 

e ¿Es crucial el área para las especies incluidas en la Lista Roja de la UICN? 

e ¿Es crucial el área para la viabilidad de las rutas migratorias? 


Consideración de los valores e inquietudes de las partes interesadas 


¿Se describen en el estudio de línea base los servicios ecosistémicos y sus 
beneficiarios, de acuerdo con consultas con expertos, organizaciones y 
comunidades afectadas? 

¿Se han especificado las características fundamentales de la biodiversidad 
mediante un proceso adecuado de consulta con expertos, organizaciones y 
comunidades afectadas? 

¿Existe constancia de un consenso entre las partes interesadas con respecto al 
alcance de los estudios de línea base de biodiversidad y la evaluación de los 
impactos? 

¿Incluyen los estudios de línea base una lista de los expertos y las partes 
interesadas, así como datos comprobatorios? 


Mapas y datos espaciales 


¿Incluye el informe mapas adecuados para describir lo siguiente? 

© El area de estudio y las áreas de influencia directa e indirecta del proyecto. 

e La huella del proyecto. 

s Tipos de hábitats. 

a Los hábitats naturales críticos delimitados, incluidas áreas protegidas y 
reconocidas internacionalmente como lugares con biodiversidad de alto 
valor. 

© Las zonas de distribución de las especies incluidas en la Lista Roja de la 
UICN que coinciden con el área de influencia del proyecto. 
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¿Ha provisto el cliente los datos geoespaciales necesarios en relación con el 
proyecto y los servicios conexos y en un formato apropiado (véase el Anexo 
A)? 


Metodologia 


¿Se describen en el estudio de línea base la metodología, las fechas del estudio 
o trabajo de campo, la labor de muestreo, una lista de las partes interesadas 
consultadas, la composición y calificaciones del equipo y otra información que 
ayude a los examinadores y al público a comprender el proceso en cuestión? 
¿Se refleja en el muestreo la estacionalidad de los procesos ambientales y 
biológicos? ¿Se usó un período aceptable para la toma de muestras? 

¿Permite el muestreo responder las preguntas clave? 

¿Corresponden las muestras de fauna a tipos específicos de hábitat o 
vegetación? 

¿Se hizo un muestreo adecuado de todas las características fundamentales de 
la biodiversidad? 

¿Se hace una justificación de la suficiencia de los esfuerzos realizados? 


Resultados, análisis y determinación de hábitats naturales críticos 


¿Incluye el informe una lista de todas las especies observadas y su categoría en 
la Lista Roja de la UICN? (Todos los mamíferos, aves y anfibios han sido 
evaluados y deben clasificarse por categorías. No se ha evaluado a la mayoría 
de los invertebrados, plantas, peces y “reptiles”. Las especies no evaluadas por 
la UICN deberán indicarse como “NE” -“no evaluado”-, sin dejarse en blanco, a 
fin de evitar confusiones.) 

¿Se consideran en el informe de referencia las características fundamentales de 
la biodiversidad, incluidas una identificación de las especies y los hábitats 
relevantes y una descripción de las funciones y los procesos ecológicos, así 
como y las interrelaciones e interacciones entre los componentes del 
ecosistema? 

¿Se han documentado todas las especies de interés en materia de conservación 
que se había previsto encontrar en el área? ¿Se hizo una estimación de la 
idoneidad del muestreo que permita afirmar que, en los lugares en que no se 
encontraron las especies previstas, es improbable que existan? 

En los casos de especies incluidas en la Lista Roja de la UICN como “casi 
amenazadas”, “vulnerables”, “en peligro” o “en peligro crítico” y de especies 
que no se han evaluado pero que probablemente se encuentren en una de esas 
categorías, ¿contiene el informe de referencia un análisis y datos 
complementarios sobre la importancia de los hábitats y poblaciones 
potencialmente afectados en relación con sus hábitats y poblaciones 
mundiales? 

¿Se reportan las “nuevas especies”? De ser así, ¿se efectuaron o propusieron 
otros estudios para determinar que esto tiene lugar fuera del área de influencia 
del proyecto? 

¿Se reportan las especies no identificadas o desconocidas? (Estas especies 
pueden indicarse en las listas como “sp.” -especie no plenamente identificada-; 
“spp.” -especies habituales dentro de un género, pero no plenamente 
identificadas-; “aff.” -affinis, especie afín a un determinado taxón- o “cf.” 
“comparar con”: aparentemente pertenece a una especie o género.) Si es así, 
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¿se examina en el informe qué especies, de haberlas, son “endémicas” o con 
“distribución restringida”? 

En el caso de especies que requieren una identificación positiva para 
determinar la presencia de un hábitat natural crítico, ¿se reunieron datos 
adecuados para confirmar la identificación? (Estos pueden incluir fotografías, 
registros de sonido, muestra de tejido para el análisis de ADN y especímenes 
parciales [por ejemplo, plantas] o completos [animales].) 

¿Se examina en el informe de referencia la presencia de especies migratorias o 
que se congregan en hábitats o áreas de importancia para ellas? (Las especies 
que se congregan son las que se concentran en grandes cantidades en sitios 
específicos durante parte del ciclo anual o vital, como las aves acuáticas o de 
humedales (por ejemplo, los flamencos en algunos lagos del altiplano andino.) 
Si se reporta la presencia de especies migratorias o que se congregan y los 
impactos son posibles, ¿se incluyen en el informe de referencia muestras 
obtenidas en períodos de migración o congregación? ¿Hay datos disponibles? 
¿Se examina en el informe de referencia la posibilidad de que el área de estudio 
contenga lugares reconocidos por existir allí una población excepcional de 
especies, procesos evolutivos fundamentales (incluidos corredores migratorios 
o de dispersión), condiciones filogenéticas exclusivas o de importancia para los 
rasgos genéticos de una especie? 

¿Se formulan en el informe de referencia conclusiones generales sobre la 
existencia de áreas que el Banco, las autoridades nacionales o locales o algunas 
partes interesadas podrían considerar “sumamente adecuadas para la 
conservación de la biodiversidad”? 

¿Se menciona qué especies, de haberlas, revisten importancia social, económica 
o cultural para las comunidades del lugar? 

¿Se identifican y describen los servicios ecosistémicos del área de influencia del 
proyecto, así como los beneficiarios de estos servicios, incluidos pueblos 
indígenas y otras comunidades que usan características de la biodiversidad que 
puedan verse afectadas por el proyecto? 


Indicadores para la supervisión 


¿Se establecen en el informe de referencia variables de respuesta 
fundamentales y el modo en que se medirán durante la supervisión de las 
etapas de construcción y operación, así como en la fase posterior al término del 
proyecto? 

¿Se incluyen indicadores para estas variables de respuesta en el informe de 
referencia? De no ser así, ¿se recomienda obtenerlos antes de iniciar la 
construcción? 


Limitaciones, brechas en los datos e incertidumbres 


¿Se especifican y examinan claramente en el informe de referencia todas las 
limitaciones, incertidumbres y brechas existentes en los datos? 


¿Se abordan esas incertidumbres y brechas mediante la aplicación de un 
enfoque precautelar, que incluya estudios focalizados, supervisión y un manejo 
adaptativo como parte de un plan de gestión ambiental y social y, cuando sea 
adecuado, como parte del PAB? 
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Anexo D. Modelos de términos de referencia para los estudios de línea base de 
biodiversidad 


Políticas y directrices 


El consultor deberá preparar el estudio de línea base de conformidad con la Política de 
Medio Ambiente y Cumplimiento de Salvaguardias (“OP-703”) del Banco Interamericano 
de Desarrollo y con las directrices provistas en la Nota de Orientación sobre Líneas de 
Base de Biodiversidad del Banco. 


Contenido 


El informe de referencia deberá contener, por lo menos, lo siguiente: 


= Alcance y objetivos. 

= Área de influencia del proyecto y área de estudio. 

=» Examen de la información disponible. 

= Identificación de las brechas en la información. 

= Estrategia de muestreo sobre el campo y metodología. 

a Resultados del muestreo de campo. 

= Descripción de categorías de hábitat (transformado, natural, natural crítico). 
= Examen de los criterios para delimitar hábitats naturales críticos. 

= Identificación de las características fundamentales de la biodiversidad. 
= Examen y asignación de prioridades para los servicios ecosistémicos. 
= Pormenores de las consultas con los expertos y las partes interesadas. 
= Cualificaciones de los preparadores y trabajadores de campo. 

=» Listas de especies. 

= Coordenadas de las unidades de muestreo. 


Estudio de delimitación del alcance 


El consultor iniciará un proceso de delimitación que debe contemplar un examen 
riguroso y un análisis de las brechas en la información disponible; la determinación del 
área de influencia del proyecto y del área incluida en el estudio de línea base; la 
identificación de las características fundamentales de la biodiversidad y los servicios 
ecosistémicos prioritarios y una especificación de las cuestiones que deberán abordarse 
en la evaluación de los impactos. 


En casos especialmente complejos o delicados, el proceso de delimitación deberá incluir 
una visita de campo, a fin de obtener datos para la formulación de estrategias de 
muestreo y facilitar las consultas con los especialistas locales y las partes interesadas. 


Estudios de campo 


De acuerdo con los resultados del estudio de delimitación de alcance, el consultor 
desarrollará planes detallados de muestreo y metodologías para los estudios de campo. 


Éstos deberán incluir la obtención de muestras cuando las condiciones estacionales sean 
adecuadas, para asegurar una representación fidedigna de los distintos grupos 
taxonómicos. 


El consultor deberá diseñar estudios de campo orientados a reunir datos en áreas que 
sean representativas del espacio de utilización del proyecto y sus áreas de influencia 
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directa e indirecta, con un nivel de detalle acorde a la importancia de las características 
fundamentales de la biodiversidad, los servicios ecosistémicos y la relevancia de los 
impactos potenciales. 


Mapas donde se especifiquen los hábitats naturales y las áreas ya transformadas 


El consultor preparará mapas de escala apropiada, donde se indiquen las relaciones 
espaciales del plano general del proyecto; su huella; las áreas de influencia directa e 
indirecta; el área de estudio y las características fundamentales de la biodiversidad 
(incluidas las áreas protegidas, las naturales críticas de biodiversidad, etc.). Esto abarca 
unidades de hábitat y áreas identificadas como transformadas, hábitats naturales y 
hábitats naturales críticos. 


En los mapas, deberá demostrarse claramente la idoneidad del diseño de muestreo para 
proporcionar datos ampliamente representativos de todas las unidades de hábitat 
situadas en el área de influencia del proyecto y la de estudio. 


Identificación de hábitats naturales críticos 


De acuerdo con las definiciones contenidas en la OP-703, el consultor determinará si 
existen hábitats naturales críticos en el área de influencia del proyecto. El consultor 
deberá delimitar también áreas que podrían considerarse hábitats naturales críticos de 
conformidad con la Nota de orientación 6 de las Normas de desempeño de la CFI, o con 
las partes interesadas adversas al proyecto. 


Esta labor deberá efectuarse con extrema cautela, pues el cliente deberá estar 
plenamente informado en cuanto a la posible existencia de hábitats naturales críticos, ya 
que las partes opuestas al proyecto podrían contradecir la información disponible. El 
consultor deberá tener en cuenta que la identificación de hábitats naturales críticos, de 
por sí, no es un impedimento para obtener financiamiento del Banco, si bien deberán 
evaluarse exhaustivamente los impactos que podrían transformarlos o degradarlos. 


Identificación de las características fundamentales de la biodiversidad 


El consultor deberá identificar y caracterizar las características fundamentales de la 
biodiversidad, centrándose en la información importante para la evaluación de impactos 
y la preparación de los planes de gestión. Entre las características fundamentales de la 
biodiversidad podrían incluirse los siguientes: 


a Especies incluidas en la Lista Roja de la UICN como “casi amenazadas”, 
“vulnerables”, “en peligro” o “en peligro crítico” de extinción o que requieran 
consideración especial de acuerdo con la legislación nacional o local. 

=» Especies que se consideran como endémicas (en la legislación nacional o local 
o de acuerdo con las evaluaciones de especialistas) o con un área de 
distribución restringida (lo cual debe ser determinado por el consultor sobre la 
base de directrices internacionales, como la Nota de orientación 6 de las 
Normas de desempeño de la CFl o la Lista Roja de la UICN). 

a Especies migratorias o que se congregan, si se estima que al menos el 1% de su 
población global usa o transita por el área de influencia del proyecto en algún 
momento de su ciclo de vida. 

= Especies identificadas como “nuevas” en los estudios de línea base de 
biodiversidad. 

=» Hábitats y procesos ecosistémicos de importancia para estas especies. 
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a Hábitats que el Banco considera como sumamente adecuados para la 
conservación de la biodiversidad (lo cual se determinará en consulta con 
especialistas del BID). 

= Áreas protegidas o que se prevé proteger legalmente, que contienen esas 
especies o son de importancia para ellas (por ejemplo, zonas de 
amortiguación). 

= Áreas no protegidas de reconocido valor en materia de conservación, según lo 
indicado en la OP-703 o “áreas internacionalmente reconocidas”, de acuerdo 
con la Nota de orientación 6 de las Normas de desempeño de la CFI. 

= Otras características de la biodiversidad que, en opinión de las partes 
interesadas, requieran consideración especial en la evaluación de impactos. 


Identificación de servicios ecosistémicos prioritarios 


El consultor deberá determinar los servicios ecosistémicos prioritarios en el contexto del 
proyecto mediante consultas con las partes interesadas, especialistas del sector social 
(que podrían formar parte del equipo del consultor o de otros grupos) y el equipo de 
asistentes sociales del cliente. 


El consultor deberá aplicar mejores prácticas internacionales para la preevaluación y el 
análisis de los servicios ecosistémicos, como lo establece la Nota de orientación 6 de las 
Normas de desempeño de la CFI o el World Resources Institute. 


Los servicios ecosistémicos prioritarios son los que podrían verse afectados 
considerablemente por el proyecto (en su cantidad, calidad, periodicidad o ubicación) o 
aquéllos de los cuales depende el proyecto, o sea, servicios mediante los cuales el 
ecosistema provee insumos o procesos importantes para el programa o habilita, refuerza 
o influye sobre las condiciones ambientales necesarias para su ejecución exitosa. 
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Anexo E. Lista de control para el examen de las evaluaciones del impacto en la 
biodiversidad 


Alcance y contenido 


¿Se incluye lo siguiente en la evaluación de los impactos? 


Una descripción del enfoque y las metodologías para evaluar los impactos y 
una descripción precisa de su gravedad. 

Un breve resumen de las actividades, los procesos y los productos más 
importantes del proyecto. 

Un breve resumen de las características fundamentales de la biodiversidad y los 
servicios ecosistémicos prioritarios. 

Una identificación, una discusión y una valuación de los impactos. 

Una mención de las medidas de gestión basadas en la jerarquía de mitigación. 
Una especificación de los impactos residuales significativos y la posible 
necesidad de implementar medidas de compensación. 

Un análisis de los impactos acumulativos. 

Un resumen (cuadro o matriz) de características, impactos y medidas de 
gestión. 


Identificación de los impactos 


¿Se basa la identificación de los impactos en la interacción entre el proyecto y 
el entorno biológico? ¿Se incluyen los impactos directos, indirectos, inducidos, 
aditivos y acumulativos y sinérgicos (por ejemplo, debidos a especies invasoras, 
pérdida de hábitat, contaminación, exceso de cosecha y cambios climáticos) 
entre las características fundamentales de la biodiversidad y los servicios 
ecosistémicos prioritarios (incluidos impactos indirectos asociados a los efectos 
en la superficie y el agua subterránea, los suelos, las cuencas hidrográficas y las 
zonas atmosféricas)? 

¿Se han identificado todas las características fundamentales de la biodiversidad 
y los servicios ecosistémicos prioritarios en sus estudios de línea base? ¿Se han 
abordado adecuadamente los procesos y actividades asociados directa e 
indirectamente al proyecto, tal como se explica en la descripción del programa, 
incluida en la evaluación ambiental? 

¿Se tienen en cuenta en la identificación de impactos todos los servicios 
conexos, los situados fuera del área del proyecto y las cadenas de suministro 
(por ejemplo, la selección de proveedores de roca o material de relleno)? 

¿Se identifican los impactos en todas las características fundamentales de la 
biodiversidad y los servicios ecosistémicos descriptos en el informe de 
referencia? 

¿Se identifican los impactos en el área de influencia del proyecto tal como 
están descriptos en el informe de delimitación del alcance y el estudio de línea 
base? 


Métodos y enfoques para evaluar riesgos e impactos 


¿Está basada la evaluación en la descripción del proyecto (incluidas las 
alternativas) antes de la aplicación de medidas “adicionales” de gestión, a fin de 
poder evaluar los impactos residuales? 
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¿Se cuantifican en la evaluación -en la medida en que sea practicable- el 
alcance y la magnitud de los impactos y riesgos potenciales relacionados con 
las características fundamentales de la biodiversidad y los servicios 
ecosistémicos prioritarios? 
¿Se consideran los siguientes factores en la evaluación de impactos? 
s Las consecuencias de los impactos según su magnitud (nivel de 
irreversibilidad) y alcance (escala espacial). 
s El riesgo de los impactos de acuerdo con su probabilidad (por ejemplo, la 
de que se produzcan) y sus consecuencias. 
s Un enfoque alternativo cuantitativo o semicuantitativo, basado en criterios 
más apropiados. 
¿Se definen o mencionan en la evaluación los umbrales establecidos para medir 
la importancia de los impactos, según los criterios y estándares de aceptación 
internacional? 
Cuando se prevén impactos o pérdidas significativas, ¿se incluyen en la 
evaluación análisis costo-beneficio, a fin de comparar los costos relativos a la 
biodiversidad con los beneficios ambientales, económicos, sociales o de otra 
índole del proyecto? 
¿Se complementa la evaluación con referencias a estudios publicados y 
consultas con expertos? 


Identificación de las medidas de gestión 


¿Se han identificado medidas de gestión para todos los impactos adversos o 
negativos de trascendencia? 

¿Se han identificado medidas de gestión para todos los impactos de 
conformidad con la jerarquía de mitigación, en que la estrategia preferida sea la 
de evitarlos (incluida la selección de sitios alternativos o los cambios en el 
diseño o en los parámetros operativos)? 

¿Incluye el informe un resumen de los impactos y sus medidas de gestión en un 
esquema de matriz, haciéndose referencia a un plan, procedimiento o sección 
específicos del programa de gestión ambiental y social o el PAB en el que se 
explica cómo se implementarán los procesos de gestión? 


Impactos residuales y medidas de compensación para evitar pérdidas netas 


¿Se evalúan los impactos residuales para todos los impactos identificados, de 
acuerdo con una implementación apropiada de la jerarquía de mitigación? 

En caso de identificarse impactos residuales, ¿se proponen medidas de 
compensación para evitar pérdidas netas de hábitat natural o lograr un 
incremento neto del hábitat natural crítico? 

Si se propone la adopción de medidas de compensación, ¿se ha aplicado 
adecuadamente la jerarquía de mitigación, incluyendo la consideración de 
lugares y diseños alternativos para el proyecto? 

¿Comprende el proceso de formulación de medidas de compensación consultas 
con expertos y con las partes interesadas? 

Además de ser viables teóricamente (o sea, desde el punto de vista ecológico) 
y técnicamente (o sea, desde el punto de vista económico), ¿existe constancia 
de que las medidas de compensación son viables también desde los puntos de 
vista político y social? 
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Nota sobre las medidas de compensación/offset 


El Banco no financiará proyectos que conlleven la transformación o degradación 
importantes de un hábitat natural crítico una vez aplicada la jerarquía de 
mitigación. Esto significa que tales impactos no se consideran para la aplicación 
de medidas de compensación/offset y deberán buscarse alternativas que eviten 
tales impactos. 

En el caso de proyectos que afectan un hábitat natural crítico, pero que 
probablemente no producirán una transformación o degradación importantes, las 
medidas propuestas de mitigación deben evaluarse según su capacidad para 
mitigar plenamente los impactos. 

Cuando sólo es probable que se produzcan impactos residuales adversos de 
poca importancia, podría estudiarse la posibilidad de adoptar medidas de 
compensación para evitar pérdidas netas u obtener beneficios netos en la 
biodiversidad para la cual se identificó el hábitat natural crítico. 

En el caso de proyectos a llevarse a cabo en un hábitat natural que no se 
considera crítico, pero que tienen impactos importantes tras aplicarse la jerarquía 
de mitigación, y una vez realizados los análisis de alternativas y de costo- 
beneficio, se requerirán medidas de compensación para evitar pérdidas netas. 


Transformación o degradación importantes de un hábitat natural crítico 


¿Se abordan específicamente en la evaluación la transformación o degradación 
importantes de un hábitat natural crítico, con una descripción precisa de las 
pautas aplicadas para determinar el valor de las características fundamentales 
de la biodiversidad para el cual se determinó ese hábitat? 

¿Producirán los impactos del proyecto la transformación o degradación 
importantes de un hábitat natural crítico? De ser así, el proyecto no reúne los 
requisitos para recibir financiamiento del Banco, a menos que puedan evitarse 
esos impactos. 
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Anexo F. Lista de control de posibles impactos en la biodiversidad 


Posibles causas de 
impactos en la 


Tipo de proyecto 


biodiversidad Agricultur Minería Petróleo Energía Energía Energía Líneas | Carret Puertos Turismo 
ay y gas hidroeléctri térmica eólica de eras y 
ganado ca transm | ductos 
isión 
Transformación, 
degradación y x x x x x x x x 
fragmentación de hábitat 
Obstáculos para las 
especies migratorias ° x x x x x x 
para el tránsito de otras 
especies 
Mortalidad directa de la x x x x x x 
fauna silvestre 
Contaminación x x x 
atmosférica, inc. el polvo 
Contaminación lumínica x x x x x x 
Contaminación acústica x x x x x x x x 
Afluencia de población 
aumenta el acceso para x x x x x x x x x 
extraer recursos naturales 
Contaminación del agua y x x x x x x x x 
sedimentación 
Una demanda elevada de 
agua creando presión en x x x x 
los sistemas naturales 
Introducción de especies 
invasoras, malezas y x x x x x x 
plagas 
Problemas específicos Contamina | Pérdida de Quema Pérdida de Impacto Riesgo de Efecto Efecto Dragado Residuos 
para la biodiversidad y los ntes hábitat; de gas y hábitat termal del colisión para barrera | barrera | afecta a sólidos; 
sistemas ecosistémicos químicos presas de fosas de aguas arriba agua para aves y y en especies de | construcc 
contaminante | contamin | y abajo de enfriamien | murciélagos colisio línea fondo; agua | ión en 
s y sobreuso antes las represas to nes de lastre zonas 
de aguas introduce frágiles 
subterráneas especies 
invasoras 
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Anexo G. Lista de control para la gestión de la biodiversidad y los planes de 
ordenamiento ambiental 


Alcance y objetivos 


¿Se describen claramente en el PAB su alcance y sus objetivos? 
¿Contiene el PAB una exposición exhaustiva de sus objetivos generales, 
o sea, de las metas que deben alcanzarse para cumplir cabalmente los 
requisitos legales y de política fijados por el Banco y el cliente, aplicando 
medidas de conservación y protección y asegurando el cumplimiento de 
los compromisos frente a las partes interesadas? 


Marco legal y de política 


¿Incluye el PAB un resumen del marco legal y de política al amparo del 
cual se pondrán en práctica el proyecto y su sistema de gestión? 
¿Contempla el marco la legislación nacional y local, los acuerdos 
ambientales multilaterales, las políticas del Banco y las políticas 
ambientales y sociales del cliente? 

¿Incluye la huella del proyecto o su área de influencia áreas protegidas o 
sus zonas de amortiguación? De ser así, ¿se hace un análisis completo de 
la legislación y los planes de gestión para esas áreas? 


Delimitación del área incluida en el PAB 


¿Se delimita y justifica en el PAB el área de aplicación? Esta área podría 
extenderse más allá de la de influencia del proyecto, sobre todo si se 
proponen medidas de compensación incluyendo offsetting. 

¿Se incluyen en el PAB áreas propuestas para compensación y las zonas 
de amortiguación necesarias para proteger los activos biológicos de las 
áreas de compensación o facilitar su conectividad? 


Identificación de las características fundamentales de la biodiversidad y los 
servicios ecosistémicos prioritarios 


¿Contiene el PAB un resumen de los estudios de línea base de 
biodiversidad realizados para el proyecto, centrado en sus 
características fundamentales y en los servicios ecosistémicos 
prioritarios, incluyendo descripciones de los tipos de hábitats naturales 
críticos existentes? 

¿Se identifican en el PAB recursos de biodiversidad que son de 
importancia social, económica o cultural para las comunidades locales, 
especialmente para los pueblos indígenas, que podrían hacer usos 
tradicionales para esos recursos o depender de ellos? 

¿Contiene el PAB una caracterización de la situación básica y los rasgos 
fundamentales de la biodiversidad y los servicios ecosistémicos 
prioritarios en el área que cubre? ¿Se identifican las amenazas y 
oportunidades existentes? 
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Si se proponen medidas de compensación, ¿contiene el PAB datos de 
referencia sobre las áreas incluidas en la propuesta, para demostrar la 
equivalencia de las áreas de offset (o un mayor valor de la biodiversidad, 
en caso de haber un “intercambio”)? 

¿Se identifican y examinan en el PAB áreas protegidas o naturales 
críticas de biodiversidad, sitios Ramsar, AIA, espacios con aves 
endémicas, sitios de la AZE, zonas donde la situación de la biodiversidad 
sea crítica, centros con diversidad de plantas, locaciones de alto valor en 
materia de conservación, ámbitos conservados por pueblos indígenas u 
otras comunidades, u otras superficies de valor reconocido en materia 
de biodiversidad que podrían existir en el área de influencia del 
proyecto? (El glosario Biodiversity A-Z contiene información sobre 
categorías de áreas críticas para la biodiversidad y su relevancia para el 
comercio.) 


Identificación de posibles impactos y riesgos adversos importantes 


¿Contiene el PAB un resumen de la evaluación de impacto, centrado en 
los efectos y riesgos más relevantes para la protección de la 
biodiversidad identificados en el PAB? 

¿Se presenta en el PAB una matriz de las características fundamentales 
de la biodiversidad, impactos, medidas de gestión y residuales, medidas 
de compensación incluyendo offsetting, obligaciones y referencias para 
el PGAS y el PAB? 


Análisis de brechas en los conocimientos científicos 


¿Incluye el PAB un resumen de los aspectos que son objeto de 
incertidumbre en el análisis científico y las brechas de información en la 
evaluación de referencia y la evaluación de impacto? 

¿Se describen en el PAB actividades que permitan esclarecer estas 
brechas? 


Estrategias para gestionar los impactos y riesgos potenciales (plan de 


gestión) 


¿Se describe en el PAB la estrategia del proyecto para evitar y mitigar 
los impactos y riesgos para la biodiversidad mediante la aplicación de la 
jerarquía de mitigación en todas sus etapas, incluidos la 
conceptualización, el análisis de alternativas y el diseño final, la 
construcción y operación del proyecto y el abandono y restablecimiento 
del mismo? 

¿Contiene el PAB un breve resumen o una breve descripción de los 
componentes importantes del PGAS y un detalle de medidas específicas 
a favor de la biodiversidad, destinadas a asegurar el cumplimiento de los 
requisitos sobre biodiversidad establecidos por el Banco y los objetivos 
establecidos en el PAB? 

¿Se describen en el PAB las funciones y obligaciones del cliente, los 
empleados, los contratistas y las otras partes en lo que respecta a la 
gestión e implementación del PAB? 
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Estrategia de compensación y offset (si es pertinente) 


=» ¿Se demuestra en el PAB que la jerarquía de mitigación se ha aplicado 
adecuadamente y que la compensación es un posible instrumento para 
evitar pérdidas netas o lograr mejoras en la biodiversidad, en casos en 
que puedan producirse importantes impactos desfavorables tras haberse 
considerado todas las alternativas viables en cuanto al diseño y a la 
ubicación del proyecto y haberse adoptado todas las medidas 
practicables para evitar, minimizar y restablecer o reparar los daños? 

a ¿Incluye el plan de compensación un análisis bien documentado de los 
avances y de las pérdidas, y datos concluyentes para demostrar la 
factibilidad técnica de las medidas de compensación propuestas? 

= ¿Se definen las medidas de compensación en función de los resultados 
perseguidos de acuerdo con las normas actuales para su aplicación? 

= ¿Comprende el proceso de preparación de esas medidas de 
compensación consultas con las partes interesadas, incluidas todas las 
autoridades de gobierno pertinentes, las comunidades afectadas y los 
expertos en conservación y en especies afectadas? 


Participación de las partes interesadas 


= ¿Se describe en el PAB la estrategia para habilitar la participación de las 
partes interesadas, incluido lo siguiente? 
s Una descripción del proceso de consultas y participación durante las 
etapas de delimitación del alcance del proyecto y preparación del 
PAB, incluida la identidad de las partes interesadas. 
e Una lista resumida de los intereses, inquietudes y recomendaciones 
planteados durante las consultas. 
s Una estrategia para lograr la participación de las partes durante 
todo el período de vigencia del PAB. 
= ¿Se hacen evidentes una labor de coordinación entre la estrategia de 
participación contenida en el PAB y la labor de gestión social y 
comunitaria del cliente, así como una coherencia con las políticas del 
cliente y los requisitos del Banco? 


Mecanismos internos y externos de ejecución 


a Se describen adecuadamente en el PAB las obligaciones del cliente, los 
marcos orgánicos internos y las fuentes de financiamiento necesarias 
para la ejecución. 

= ¿Se indica en el PAB de qué manera el cliente ejecutará el plan en 
colaboración con organizaciones o instituciones asociadas con 
experiencia en la evaluación de características de la biodiversidad y 
servicios ecosistémicos y con las comunidades del área del PAB? 


Programación y costos 


= ¿Contiene el PAB un programa y un presupuesto estimado para las 
actividades previstas? 
a ¿Se incluye lo siguiente en el programa? 
s Un proceso de consultas. 
s La ejecución de las medidas de mitigación para el PGAS. 
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s Un programa de supervisión de la biodiversidad. 

s Un programa de examen y evaluación del PAB. 

s Un programa de presentación de informes. 
¿Se consideran los siguientes costos en las estimaciones 
presupuestarias? 

s De implementar medidas estándar de gestión. 

s De aplicar medidas incrementales de gestión para alcanzar los 

objetivos de la biodiversidad. 

s Delos programas de supervisión y evaluación. 

e Del plan de consulta. 

s Delos posibles planes de compensación. 

© De presentar informes (incluidas posibles publicaciones). 
¿Se examinan en el PAB los mecanismos de financiamiento adoptados 
para asegurar su viabilidad, especialmente si se proponen medidas de 
compensación? ¿Se identifican las fuentes de financiamiento? 


Seguimiento, evaluación y presentación de informes 


¿Se describen en el PAB las estrategias del proyecto para seguir y 
evaluar los principales indicadores de la eficacia de las medidas de 
mitigación y la evolución de las características fundamentales de la 
biodiversidad, así como los servicios ecosistémicos prioritarios, incluidos 
los indicadores del éxito de la compensación? 

¿Se especifican en el PAB mecanismos de presentación de informes a las 
partes interesadas, incluido el Banco, las autoridades de gobierno, las 
comunidades afectadas y el público en general? 

¿Se presta especial atención en el PAB a los indicadores relacionados 
directamente con las características fundamentales de la biodiversidad y 
a los servicios ecosistémicos prioritarios que son su objeto? 

¿Es fácil medir esos indicadores? ¿Es probable que contengan 
información importante sobre la eficacia de las medidas de mitigación? 
¿Se incluyen en el PAB un calendario de notificación y una descripción 
de los tipos de información, sus destinatarios y los medios de 
comunicación que se usarán? 
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Anexo H. Términos de referencia modelo de los planes de acción para la 
biodiversidad 


El consultor deberá adoptar las directrices indicadas en la nota de orientación del 
Banco para preparar el PAB (BAP Guidance Note). 


El PAB deberá contener lo siguiente: 


=» Alcance y objetivos. 
= Marco legal y de política. 
= Descripción de la relación entre el PAB y el sistema de gestión ambiental 
y social (SGAS). 
= Gestión de los posibles aspectos no resueltos de los planes de acción 
ambiental y social y de los planes de acción correctiva. 
= Resumen de la descripción del proyecto y sus impactos. 
s Resumen de los estudios de línea base de biodiversidad y descripción de 
los objetivos del PAB. 
= Análisis de las brechas en los conocimientos científicos. 
= Medidas que deberán adoptarse para lograr los objetivos fijados. Éstas 
podrían incluir, entre otras: 
e Medidas de minimización. 
s Offseting. 
s Medidas de compensación. 
a Administración y gestión del PAB. 
= Supervisión, indicadores y evaluación. 
= Presentación de informes y publicaciones. 
=" Capacitación y fortalecimiento de la capacidad. 


El consultor deberá preparar el PAB en colaboración con sus instituciones y 
organizaciones asociadas, otros consultores y la comunidad, en la medida en que 
sea necesario y conveniente. 


El consultor ofrecerá recomendaciones para facilitar la participación de 
instituciones, ONG, investigadores, comunidades y otras partes relevantes cuya 
participación afianzará el éxito del PAB. 


Alcance y objetivos 


El consultor deberá explicar el alcance y los objetivos del PAB, que deberá 
preparar en consulta con el cliente y las partes interesadas. La descripción del 
alcance deberá comprender una exposición y mapas del área geográfica de su 
aplicación. Los objetivos deberán tener duración limitada y deberán identificarse 
indicadores cuantificables para determinar si son alcanzados. 


Marco legal y de política 


El consultor deberá proveer una descripción detallada del marco legal y de 
política relacionado con la biodiversidad y los servicios ecosistémicos, que incluya 
la legislación nacional y local (por ejemplo, estatal, provincial, del departamento, 
del municipio, etc.); las políticas del Banco y de otras instituciones prestamistas y 
las del cliente. 
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Relación entre el PAB y el sistema de gestión ambiental y social 


El consultor deberá elaborar un PAB que sea compatible con los planes y 
procedimientos de gestión ambiental y social del SGAS del proyecto. En el PAB 
deberán describirse exhaustivamente los vínculos entre éste y el SGAS. 


Componentes del plan de acción ambiental y social o del plan de acción 
correctiva 


El consultor deberá explicar qué relación existe entre el PAB y cualquier plan de 
acción ambiental y social vigente o con los requisitos del plan de acción 
correctiva. 


Resumen del proyecto y sus impactos 


El consultor deberá proveer una descripción del proyecto para el cual se está 
elaborando el PAB y de los impactos que se quiere mitigar o para los cuales se 
pretende proponer compensación. 


Resumen de la situación básica de la biodiversidad y especificación de los 
objetivos del PAB 


El consultor deberá presentar un resumen detallado de la situación básica de la 
biodiversidad y de los procedimientos y principios formulados para determinar 
qué características fundamentales de la biodiversidad o servicios ecosistémicos 
prioritarios se incluirán en el PAB. La especificación de los objetivos del PAB 
deberá incluir consultas con los especialistas y las partes interesadas. 


Análisis de las brechas científicas 


En el marco del PAB, el consultor deberá hacer un análisis de las posibles brechas 
en la información en los estudios de línea base de biodiversidad, así como en las 
evaluaciones de impacto, a fin de determinar si se necesitan nuevos estudios o 
más supervisión. 


Medidas que deben adoptarse para alcanzar los objetivos fijados 


El consultor deberá diseñar las medidas que se adoptarán para alcanzar los 
objetivos fijados en el PAB. Esto podría incluir una combinación de medidas de 
gestión, supervisión y compensación (por ejemplo, por pérdida de recursos de 
biodiversidad usados por las comunidades locales). 


Las medidas de gestión deberán diseñarse especificamente para evitar o 
minimizar los impactos en las características fundamentales de la biodiversidad y 
en los servicios ecosistémicos prioritarios y para rehabilitar las condiciones 
básicas, en la medida en que sea necesario. En el PAB deberán describirse planes 
y procedimientos practicables para adoptar estas medidas, con indicadores para 
evaluar su éxito. 


Las medidas de compensación deberán formularse en consulta con especialistas, 
autoridades gubernamentales, las comunidades afectadas y otras partes 
interesadas, a fin de lograr la viabilidad técnica y política del proyecto. 
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Gestión y administración del PAB 


El consultor deberá describir las estructuras de gestión, administración y respaldo 
necesarias para la ejecución exitosa del PAB, incluidas las funciones, 
responsabilidades y competencias necesarias en los distintos puestos 
administrativos y de contratación de personal. 


Supervisión, indicadores y evaluación 


El consultor deberá preparar un programa detallado de supervisión y evaluación, 
que incluya los indicadores propuestos para medir la eficacia de las medidas de 
mitigación y gestión adoptadas por el cliente, y la eficacia en el logro de los 
objetivos fijados en el PAB. 


Presentación de informes y publicaciones 


El consultor deberá proponer una política y un calendario de presentación de 
informes para el PAB, que incluya los tipos de medios de comunicación que se 
usarán y los tipos de publicación -de carácter popular y académico- que 
presuntamente se producirán como resultado del PAB. 


Capacitación y fortalecimiento de la capacidad 


El consultor incluirá requisitos de capacitación y fortalecimiento de la capacidad 
que reflejen una comprensión de las necesidades y habilidades del cliente, las 
autoridades gubernamentales del lugar, los contratistas y las partes interesadas 
con influencia en la biodiversidad y la gestión de los servicios ecosistémicos. 
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PRÓLOGO 


Este libro ofrece una introducción accesible al tema de la evaluación de 
impacto y su práctica en el desarrollo. Proporciona orientaciones provecho- 
sas para diseñar e implementar evaluaciones de impacto, junto con una 
visión general no técnica de los métodos de evaluación de impacto. 

Esta es la segunda edición del manual de La evaluación de impacto en la 
práctica. Publicado por primera vez en 2011, el manual ha sido usado exten- 
samente por comunidades de desarrollo y académicas en todo el mundo. La 
primera edición está disponible en inglés, francés, portugués y español. 

La versión actualizada abarca las técnicas más recientes para evaluar 
programas e incluye consejos de implementación de última generación, así 
como un conjunto ampliado de ejemplos y estudios de casos que se basan en 
recientes intervenciones de desarrollo. También incluye nuevos materiales 
sobre la ética de la investigación y alianzas para llevar a cabo evaluaciones 
de impacto. A lo largo del libro, los estudios de casos ilustran aplicaciones de 
las evaluaciones de impacto. La publicación incluye enlaces de material 
didáctico complementario disponible en línea. 

El enfoque de la evaluación de impacto que se vuelca en este libro es 
sobre todo intuitivo. Hemos intentado minimizar las anotaciones técnicas. 
Los métodos se basan directamente en la investigación aplicada en ciencias 
sociales y comparten numerosos elementos comunes a los métodos de 
investigación que se emplean en las ciencias naturales. En este sentido, la 
evaluación de impacto reúne herramientas de investigación empírica 
ampliamente utilizadas en economía y en otras ciencias sociales, junto con 
las realidades operativas y de economía política de la implementación de 
políticas públicas y práctica de desarrollo. 

Nuestro enfoque de la evaluación de impacto también es pragmático: 
pensamos que deberían definirse los métodos más apropiados para ade- 
cuarse al contexto operativo, y no a la inversa. La mejor manera de lograr 
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esto es al comienzo de un programa, mediante el diseño de evaluaciones de 
impacto prospectivas que se incluyan en la implementación de un proyecto. 
Sostenemos que alcanzar un consenso entre las principales partes interesa- 
das y la definición de un diseño de evaluación adecuado al contexto político 
y Operativo es tan importante como el propio método. También creemos que 
las evaluaciones de impacto deberían ser claras a propósito de sus limitacio- 
nes y sus advertencias. Por último, alentamos encarecidamente a los respon- 
sables de las políticas públicas y a los administradores de los programas a 
considerar las evaluaciones de impacto como parte de una teoría bien desa- 
rrollada del cambio que establece con claridad las vías causales mediante las 
cuales un programa funciona para elaborar productos e influir en los resul- 
tados finales, y los alentamos a combinar las evaluaciones de impacto con 
enfoques de monitoreo y de evaluación complementarios con el fin de obte- 
ner un cuadro completo de los resultados. 

Nuestras experiencias y lecciones sobre cómo llevar a cabo evaluaciones 
de impacto en la práctica se basan en la enseñanza y en el trabajo con cientos 
de socios idóneos de los ámbitos gubernamentales, académicos y del desa- 
rrollo. El libro se fundamenta colectivamente en décadas de experiencia en 
el trabajo con evaluaciones de impacto en casi todos los rincones del pla- 
neta, y está dedicado a las futuras generaciones de profesionales y responsa- 
bles de las políticas públicas. 

Esperamos que estas páginas constituyan un valioso recurso para la 
comunidad internacional de desarrollo, las universidades y los responsables 
de las políticas públicas que intentan construir evidencia válida en torno a lo 
que funciona en el desarrollo. Más y mejores evaluaciones de impacto con- 
tribuirán a fortalecer la base de evidencia para las políticas y los programas 
de desarrollo en todo el mundo. Tenemos la esperanza de que si los gobier- 
nos y los profesionales del desarrollo pueden tomar decisiones de políticas 
públicas sobre la base de la evidencia, incluida la evidencia generada a tra- 
vés de la evaluación de impacto, los recursos para el desarrollo se destinarán 
de manera más efectiva para reducir la pobreza y mejorar las vidas de las 
personas. 


Hoja de ruta de los contenidos del libro 


En la primera parte, “Introducción a la evaluación de impacto” (capítulos 1 
y 2), se explica por qué una evaluación de impacto puede llevarse a cabo y 
cuándo merece la pena hacerlo. Allí se revisan los diversos objetivos que una 
evaluación de impacto puede lograr y se subrayan las principales preguntas 
relativas a las políticas públicas que una evaluación puede abordar. Se insiste 


La evaluación de impacto en la práctica 


en la necesidad de definir rigurosamente una teoría del cambio que explique 
los canales a través de los cuales los programas pueden influir en los resulta- 
dos finales. Se insta a una consideración cuidadosa de los indicadores de 
resultados y del tamaño de los efectos anticipados. 

En la segunda parte, “Cómo evaluar” (capítulos 3 al 10), se analizan las 
diversas metodologías que producen grupos de comparación que se pueden 
utilizar para estimar los impactos de un programa. Se empieza por introdu- 
cir el contrafactual como la piedra angular de cualquier evaluación de 
impacto, explicando las propiedades que debe tener la estimación del 
mismo, y proporcionando ejemplos de estimaciones inválidas del contrafac- 
tual. Posteriormente, se presenta un menú de las opciones de evaluación de 
impacto que pueden producir estimaciones válidas del contrafactual. En 
particular, se aborda la intuición básica que subyace a las metodologías de 
evaluación de impacto, a saber: la asignación aleatoria, las variables instru- 
mentales, el diseño de regresión discontinua, las diferencias en diferencias y el 
pareamiento. Se establece por qué y cómo cada método puede producir una 
estimación válida del contrafactual, en qué contexto de las políticas públicas 
se puede implementar cada uno, así como también sus principales 
limitaciones. 

Alo largo de esta parte del libro, se utiliza un estudio de caso -el Programa 
de Subsidios de Seguros de Salud (HISP, por sus siglas en inglés: Health 
Insurance Subsidy Program)- para ilustrar cómo se pueden aplicar los méto- 
dos. Además, se ofrecen ejemplos específicos de las evaluaciones de impacto 
que han utilizado cada método. La segunda parte concluye con un debate 
sobre cómo combinar los métodos y abordar problemas que pueden surgir 
durante la implementación, reconociendo que los diseños de evaluación de 
impacto a menudo no se implementan exactamente como se había planeado 
originalmente. En este contexto, se analizan ciertos problemas comunes que 
suelen experimentarse durante la implementación, lo que incluye el cum- 
plimiento imperfecto o los efectos de derrame, y se debate cómo abordar 
estas dificultades. El capítulo 10 concluye con orientaciones sobre evalua- 
ciones de programas multifacéticos, sobre todo aquellos con diferentes 
niveles de tratamiento y diseños cruzados. 

La tercera parte, “Cómo implementar una evaluación de impacto” 
(capítulos 11 a 14), se centra precisamente en cómo llevar adelante la eva- 
luación. En el capítulo 11, se detalla cómo utilizar las reglas del funciona- 
miento de un programa -es decir, los recursos disponibles del programa, 
los criterios para seleccionar a los beneficiarios y la programación en el 
tiempo para laimplementación- como la base para seleccionar un método 
de evaluación de impacto. Se define un marco sencillo para determinar 
cuál de las metodologías de evaluación de impacto presentadas en la 
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segunda parte es la más adecuada para un determinado programa, de 
acuerdo con sus reglas operativas. En el capítulo 12 se aborda la relación 
entre el equipo de investigación y el equipo de políticas públicas, y sus 
respectivos roles para conformar conjuntamente un equipo de evalua- 
ción. Se examina la diferencia entre independencia y ausencia de sesgo, y 
se ponen de relieve ámbitos que pueden ser delicados para llevar a cabo 
una evaluación de impacto. Se ofrece orientación sobre cómo gestionar 
las expectativas, se destacan algunos de los riesgos habitualmente pre- 
sentes en la realización de evaluaciones de impacto, y se brindan suge- 
rencias sobre cómo manejarlos. El capítulo concluye con una visión 
general de cómo gestionar las actividades de la evaluación de impacto, lo 
que incluye la creación de un equipo de evaluación, la programación en el 
tiempo de la misma, el presupuesto, la captación de fondos y la recopila- 
ción de datos. En el capítulo 13 se proporciona una visión general de la 
ética y la ciencia de la evaluación de impacto, lo cual incluye la importan- 
cia de no negar beneficios a los beneficiarios elegibles en aras de la eva- 
luación; en el capítulo también se resalta el rol de las juntas de revisión 
institucional, que aprueban y monitorean la investigación con sujetos 
humanos, y se aborda la importancia de registrar las evaluaciones 
siguiendo la práctica de la ciencia abierta, de acuerdo con la cual los datos 
se ponen a disposición del público para posteriores investigaciones y 
para replicar resultados. El capítulo 14 proporciona una visión novedosa 
sobre cómo utilizar las evaluaciones de impacto para fundamentar las 
políticas públicas, incluyendo consejos sobre cómo conseguir que los 
resultados sean relevantes; un debate sobre el tipo de productos que las 
evaluaciones de impacto pueden y deben producir, y orientación sobre 
cómo extraer y divulgar las conclusiones para maximizar el impacto de 
las políticas públicas. 

La cuarta parte, “Cómo obtener datos para una evaluación de impacto” 
(capítulos 15 a 17), se ocupa de la forma de recopilar datos, lo que incluye 
elegir la muestra y determinar el tamaño apropiado de la muestra de la eva- 
luación (capítulo 15), así como también encontrar fuentes de datos adecua- 
dos (capítulo 16). El capítulo 17 concluye y proporciona algunas listas de 
verificación. 


Material complementario en línea 
En el sitio web de la evaluación de impacto en la práctica se ofrecen mate- 


riales de apoyo (http://www.worldbank.org/ieinpractice), incluyendo solu- 
ciones a las preguntas de los estudios de casos del HISP, la correspondiente 
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base de datos y el código de análisis del software Stata, así como un manual 
técnico que proporciona un tratamiento más formal del análisis de datos. 
Los materiales también abarcan presentaciones de PowerPoint relaciona- 
das con los capítulos, y versiones en línea del libro con hipervínculos a sitios 
web y enlaces con otros materiales. 

El sitio web de evaluación de impacto en la práctica también brinda vín- 
culos con materiales relacionados con el Fondo Estratégico de Evaluación 
de Impacto (SIEF, por sus siglas en inglés) del Banco Mundial, la iniciativa 
Desarrollo de la Evaluación de Impacto (DIME, por sus siglas en inglés), de 
la misma institución, y sitios web de manuales de evaluación de impacto, así 
como el portal de evaluación de impacto del Banco Interamericano de 
Desarrollo (BID) y el curso de métodos de evaluación de impacto aplicados 
en la Universidad de California, Berkeley. 


Desarrollo de La evaluación de impacto en la 
práctica 


La primera edición del libro La evaluación de impacto en la práctica se basaba 
en un conjunto central de materiales didácticos desarrollados para los semi- 
narios sobre “Cómo convertir las promesas en evidencia”, organizados por la 
Oficina del Economista Jefe para Desarrollo Humano, en asociación con uni- 
dades regionales y con el Grupo de Investigación en Economía del Desarrollo 
del Banco Mundial. En el momento de redactar la primera edición, el semi- 
nario se había celebrado más de 20 veces en todas las regiones del mundo. 

Los seminarios, y tanto la primera como la segunda edición de este 
manual, han sido posibles gracias a las generosas ayudas del gobierno de 
España, del Departamento para el Desarrollo Internacional del Reino Unido 
(DFID) y de la Fundación del Fondo de Inversión para la Infancia (CIFF, 
Reino Unido) a través de contribuciones al SIEF. La segunda edición tam- 
bién se ha beneficiado del apoyo de la Oficina de Planificación Estratégica y 
Efectividad en el Desarrollo del BID. 

Esta segunda edición ha sido puesta al día para abarcar las técnicas más 
actualizadas, así como consejos de implementación de última generación, 
siguiendo los progresos alcanzados en este campo en los últimos años. 
También hemos ampliado el conjunto de ejemplos y estudios de casos para 
reflejar aplicaciones de amplio espectro de la evaluación de impacto en las 
operaciones de desarrollo y destacar sus vínculos con las políticas públicas. 
Por último, hemos incluido aplicaciones de técnicas de evaluación de 
impacto con Stata, utilizando la base de datos del estudio de caso del HISP 
como parte del material complementario en línea. 
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Primera parte 


INTRODUCCIÓN A 
LA EVALUACIÓN DE 
IMPACTO 


La primera parte de este libro presenta una visión general de la evaluación de 
impacto. En el capítulo 1 se analiza por qué la evaluación de impacto es importante 
y cómo se inscribe en el contexto de una formulación ética de las políticas basada 
en evidencia. Se compara la evaluación de impacto con el monitoreo, se describen 
las características que definen la evaluación de impacto y se abordan enfoques 
complementarios, entre ellos el análisis de costo-beneficio y de costo-efectividad. 
Asimismo, aquí se introduce un elemento clave del libro, a saber: cómo los recur 
sos disponibles de un programa, los criterios de elegibilidad para seleccionar a los 
beneficiarios y los plazos para la implementación contribuyen a definir las opciones 
en la selección de los métodos de evaluación de impacto. Por último, se detallan 
diferentes modalidades de evaluación de impacto, como la evaluación prospectiva 
y retrospectiva y las pruebas de eficacia frente a las pruebas de efectividad, y se 
concluye con un debate sobre cuándo utilizar las evaluaciones de impacto. 


El capítulo 2 versa sobre cómo formular preguntas e hipótesis de evaluación 
que son útiles para las políticas. Estas preguntas e hipótesis forman la base 
de la evaluación porque definen su foco. También se expone el concepto fun- 
damental de una teoría del cambio y los usos correspondientes de las cadenas 
de resultados y de los indicadores de desempeño. Este capítulo presenta la 
primera introducción al estudio de casos ficcionales, el Programa de Subsidios 
de Seguros de Salud (HISP por sus siglas en inglés, Health Insurance Subsidy 
Program) utilizado a lo largo del libro y en el material de apoyo que se halla en 
el sitio web de evaluación de impacto en la práctica (http://wvww.worldbank.org 
hieinpractice). 


CAPÍTULO 1 


¿Por qué evaluar? 


La formulación de políticas basada en evidencia 


Los programas y políticas de desarrollo suelen estar diseñados para cambiar 
resultados, como aumentar los ingresos, mejorar el aprendizaje o reducir las 
enfermedades. Saber si estos cambios se logran o no es una pregunta crucial 
para las políticas públicas, aunque a menudo no suele abordarse. Es más 
habitual que los administradores de los programas y los responsables de las 
políticas se centren en medir e informar sobre los insumos y los productos 
inmediatos de un programa (cuánto dinero se gasta, cuántos libros de texto 
se distribuyen, cuántas personas participan en un programa de empleo) en 
lugar de evaluar si los programas han logrado sus objetivos de mejorar los 
resultados. 

Las evaluaciones de impacto forman parte de una agenda mas amplia de 
formulación de políticas públicas basadas en evidencia. Esta tendencia mun- 
dial creciente se caracteriza por un cambio de enfoque, ya que en lugar de 
centrarse en los insumos lo hace en los productos y resultados, y está recon- 
figurando las políticas públicas. Centrarse en los resultados no solo sirve 
para definir y hacer un seguimiento de los objetivos nacionales e internacio- 
nales, sino que -además- los administradores de programas utilizan y nece- 
sitan cada vez más los resultados para mejorar la rendición de cuentas, 
definir las asignaciones presupuestarias y orientar el diseño del programa y 
las decisiones de políticas. 


Concepto clave 

Las evaluaciones son 
valoraciones 
periódicas y objetivas 
de un proyecto, 
programa o política 
planificada, en curso o 
terminada. Las 
evaluaciones se 
utilizan para responder 
a preguntas 
específicas, a menudo 
relacionadas con el 
diseño, la implementa- 
ción y/o los resultados. 


El monitoreo y la evaluación son fundamentales en la formulación de 
políticas basadas en evidencia. Ofrecen un conjunto central de instru- 
mentos que las partes interesadas pueden utilizar para verificar y mejorar 
la calidad, eficiencia y efectividad de las políticas y de los programas en 
diferentes etapas de implementación o, en otras palabras, para centrarse 
en los resultados. A nivel de la gestión del programa, es necesario saber 
cuáles son las opciones de diseño costo-efectivas, o demostrar ante los 
responsables de la toma de decisiones que los programas están logrando 
sus resultados previstos con el fin de obtener asignaciones presupuesta- 
rias para continuarlos o ampliarlos. A nivel nacional, los ministerios 
compiten unos con otros para obtener financiamiento del ministerio de 
Finanzas. Y, por último, los gobiernos deben rendir cuentas ante los ciu- 
dadanos para informales del resultado de los programas públicos. La evi- 
dencia puede constituir una base sólida para la transparencia y la rendición 
de cuentas. 

La evidencia robusta generada por las evaluaciones de impacto está sir- 
viendo cada vez más como fundamento para una mayor rendición de cuen- 
tas, innovación y aprendizaje. En un contexto en que los responsables de las 
políticas y la sociedad civil exigen resultados y la rendición de cuentas de los 
programas públicos, la evaluación de impacto puede proporcionar eviden- 
cia robusta y creíble sobre el desempeño y ante todo sobre si un programa 
concreto ha alcanzado o está alcanzando sus resultados deseados. Las eva- 
luaciones de impacto también son cada vez más utilizadas para probar inno- 
vaciones en el diseño de programas o en la prestación de servicios. A nivel 
mundial, estas evaluaciones son fundamentales para construir conocimien- 
tos acerca de la efectividad de los programas de desarrollo, iluminando 
sobre lo que funciona y no funciona para reducir la pobreza y mejorar el 
bienestar. 

En pocas palabras, una evaluación de impacto mide los cambios en el 
bienestar de los individuos que se pueden atribuir a un proyecto, un pro- 
grama o una política específicos. Este enfoque en la atribución es el sello 
distintivo de las evaluaciones de impacto. Por lo tanto, el reto fundamental 
en una evaluación de esta naturaleza consiste en identificar la relación 
causal entre el programa o la política y los resultados de interés. 

Las evaluaciones de impacto suelen medir el impacto promedio de un 
programa, las modalidades del programa o una innovación en el diseño. Por 
ejemplo, ¿el programa de agua y saneamiento aumentó el acceso a agua 
potable y mejoró los resultados de salud? ¿Un programa de estudios alterna- 
tivo mejoró las puntuaciones de las pruebas de los alumnos? ¿La innovación 
de incluir destrezas cognitivas como parte de un programa de formación de 
jóvenes ha tenido éxito promoviendo la iniciativa empresarial e incremen- 
tando los ingresos? En cada uno de estos casos, la evaluación de impacto 
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proporciona información sobre si el programa provocó los cambios deseados 
en los resultados, al compararse con estudios de casos o anécdotas especifi- 
cas, que solo pueden brindar información parcial y que quizá no sean repre- 
sentativos de los impactos generales del programa. En este sentido, las 
evaluaciones de impacto bien diseñadas y bien implementadas son capaces 
de proporcionar evidencia convincente y exhaustiva que puede ser utilizada 
para fundamentar las decisiones de las políticas, influir en la opinión pública 
y mejorar el funcionamiento de los programas. 

Las evaluaciones de impacto clásicas abordan la efectividad de un pro- 
grama en comparación con la ausencia del mismo. El recuadro 1.1 se refiere a 
la evaluación de impacto bien conocida del programa de transferencias con- 
dicionadas en México, e ilustra cómo la evaluación contribuyó a los debates 
de las políticas públicas en relación con la ampliación del programa.' 


Recuadro 1.1: Cómo una evaluación exitosa puede promover la 
sostenibilidad política de un programa de desarrollo 


El programa de transferencias condicio- 
nadas de México 
En los años noventa, el gobierno de México 
lanzó un programa innovador de transferen- 
cias condicionadas, llamado inicialmente 
Progresa (que luego pasó a llamarse 
Oportunidades y más tarde Prospera, al 
tiempo que cambiaron unos cuantos elemen- 
tos del mismo). Sus objetivos consistían en 
proporcionar a los hogares pobres un apoyo 
de corto plazo a los ingresos y en incentivar la 
inversión en el capital humano de los niños, 
mediante transferencias de efectivo a las 
madres de hogares pobres con la condición 
de que sus hijos asistieran a la escuela y visi- 
taran regularmente un centro de salud. 
Desde el comienzo, el gobierno consi- 
deró esencial monitorear y evaluar el pro- 
grama. Los funcionarios responsables 
contrataron a un grupo de investigadores 
para que diseñaran una evaluación de 
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impacto y la incorporaran en la ampliación 
del programa al mismo tiempo que este se 
ponía en marcha de manera progresiva en 
las comunidades participantes. 

Las elecciones presidenciales de 2000 
se saldaron con un cambio en el partido 
gobernante. En 2001 los evaluadores exter- 
nos de Progresa presentaron su conclusio- 
nes al gobierno recién elegido. Los 
resultados del programa eran impresionan- 
tes: demostraban que el programa estaba 
bien focalizado en los pobres y que había 
generado cambios prometedores en el capi- 
tal humano de los hogares. Schultz (2004) 
encontró que el programa mejoraba de 
forma significativa la matriculación escolar, 
en un promedio de 0,7 años adicionales de 
escolarización. Gertler (2004) observó que la 
incidencia de las enfermedades de los niños 
disminuía en un 23%, mientras que el 
número de días perdidos por enfermedad o 
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de desarrollo (continúa) 

discapacidad decrecía en un 19% entre los 
adultos. Entre los resultados nutricionales, 
Behrman y Hoddinott (2001) hallaron que el 
programa reducía la probabilidad de retraso 
en el crecimiento en alrededor de 1 centí- 
metro al año en los niños durante la edad 
crítica de 12-36 meses. 

Estos resultados de la evaluación fueron 
el punto de partida de un diálogo sobre las 
políticas basadas en evidencia y contribuye- 
ron a la decisión del nuevo gobierno de seguir 
con el programa. El gobierno amplió su 
alcance e introdujo las becas en la enseñanza 


media-superior y mejoró los programas de 
salud para los adolescentes. Al mismo 
tiempo, los resultados fueron utilizados para 
modificar otros programas de ayuda social, 
como el subsidio de la tortilla, muy generoso 
pero no tan bien focalizado, cuya escala se 
redujo. 

La exitosa evaluación de Progresa tam- 
bién contribuyó a la rápida adopción de sis- 
temas de transferencias condicionadas en 
todo el mundo, y a la adopción en México de 
una legislación que establece la evaluación 
de todos los proyectos sociales. 


Fuentes: Behrman y Hoddinott (2001); Fiszbein y Schady (2009); Gertler (2004); Levy y Rodríguez (2005); Schultz 


(2004); Skoufias y McClafferty (2001). 


El recuadro 1.2 ilustra cómo la evaluación de impacto influyó en la polí- 
tica educativa de Mozambique, al demostrar que el preescolar comunitario 
puede ser una fórmula asequible y efectiva de abordar la educación tem- 
prana y promover la matriculación de los niños en la escuela primaria a la 
edad adecuada. 

Además de abordar la pregunta básica de si un programa es efectivo 
o no, las evaluaciones de impacto también se pueden utilizar para pro- 
bar explícitamente modalidades de programas alternativos o innovacio- 
nes de diseño. A medida que los responsables de las políticas se centran 
cada vez más en entender mejor cómo perfeccionar la implementación 
y obtener más a cambio del dinero, los enfoques que prueban alternati- 
vas de diseño están ganando terreno rápidamente. Por ejemplo, una 
evaluación puede comparar el desempeño de un programa de forma- 
ción con el de una campaña promocional para ver cuál es más efectivo 
para aumentar la alfabetización financiera. Una evaluación de impacto 
puede probar cuál es el enfoque de la combinación de nutrición y de 
estimulación del niño que tiene el mayor impacto en su desarrollo. O la 
evaluación puede probar una innovación de diseño para mejorar el 
diseño de un programa existente, como utilizar mensajes de texto para 
mejorar el cumplimiento cuando se trata de tomar la medicación 
prescrita. 


La evaluación de impacto en la práctica 


Recuadro 1.2: El impacto de las políticas de un modelo preescolar 


innovador 


Desarrollo preescolar y de la primera 
infancia en Mozambique 
Si bien el preescolar se reconoce como una 
buena inversión y un enfoque efectivo para 
preparar a los niños para la escuela y las eta- 
pas posteriores de la vida, los países en desa- 
rrollo se han enfrentado a la pregunta de cómo 
introducir un modelo de preescolar escalable y 
costo-efectivo. En Mozambique solo alrede- 
dor del 4% de los niños asiste a preescolar. Al 
llegar a la escuela primaria, algunos niños de 
comunidades rurales muestran señales de 
retrasos en el desarrollo y a menudo no están 
preparados para las demandas de la escuela 
primaria. Además, a pesar de que en la 
escuela primaria hay una tasa de matriculación 
de casi el 95%, a una tercera parte de los 
niños no se los inscribe a la edad adecuada. 
En 2006 Save the Children lanzó un pro- 
grama piloto de preescolar comunitario en 
zonas rurales de Mozambique con la inten- 
ción de mejorar el desarrollo cognitivo, 
social, emocional y físico de los niños. En lo 
que se considera la primera evaluación alea- 
torizada de un programa preescolar en África 
rural, en 2008 un equipo de investigación 
llevó a cabo una evaluación de impacto del 
programa. Sobre la base de los resultados 
positivos de la evaluación, el gobierno de 
Mozambique adoptó el modelo preescolar 
comunitario de Save the Children y decidió 
ampliarlo a 600 comunidades. 


Fuente: Martínez, Nadeau y Pereira (2012). 


La evaluación llegó a la conclusión de que 
los niños que asistían a preescolar tenían un 
24% más de probabilidades de matricularse en 
la escuela primaria que los niños del grupo de 
comparación, y un 10% más de probabilidades 
de comenzar a la edad adecuada. En la escuela 
primaria, los niños que habían asistido a prees- 
colar dedicaron casi un 50% más de tiempo a 
las tareas escolares y a otras actividades relacio- 
nadas con la escuela que los que no habían asis- 
tido. La evaluación también mostraba aumentos 
positivos en la preparación para la escuela; los 
niños que habían cursado preescolar obtenían 
mejores resultados en las pruebas cognitivas y 
socioemocionales, y alcanzaban un buen desa- 
rrollo motor versus el grupo de comparación. 

Otros miembros del hogar también se 
beneficiaron de la matriculación de los niños en 
preescolar al disponer de más tiempo para 
dedicar a actividades productivas. Cuando en 
un hogar había un niño que concurría a prees- 
colar, los hermanos mayores tenían un 6% más 
de probabilidades de asistir a la escuela y los 
cuidadores tenían un 26% más de probabilida- 
des de haber trabajado en los últimos 30 días. 

Esta evaluación demostró que incluso en 
un entorno de bajos ingresos, el preescolar 
puede ser una manera efectiva de promover 
el desarrollo cognitivo, preparar a los niños 
para la escuela primaria y aumentar la proba- 
bilidad de que comiencen la escuela prima- 
ria a la edad adecuada. 


¿Qué es la evaluación de impacto? 


La evaluación de impacto es uno de los numerosos métodos que existen 
para apoyar las políticas públicas basadas en evidencia, incluidos el monito- 
reo y otros tipos de evaluación. 


¿Por qué evaluar? 


El monitoreo es un proceso continuo mediante el cual se lleva a cabo un 
seguimiento de lo que ocurre con un programa y se utilizan los datos recopi- 
lados para fundamentar la implementación de los programas y la adminis- 
tración y las decisiones diarias. A partir sobre todo de datos administrativos, 
el monitoreo realiza un seguimiento de los desembolsos financieros y del 
desempeño del programa en relación con los resultados esperados, y analiza 
las tendencias a lo largo del tiempo.? El monitoreo es necesario en todos los 
programas y constituye una fuente crítica de información sobre el desem- 
peño de los mismos, lo cual abarca también la implementación y los costos. 
Normalmente, el monitoreo se aplica a los insumos, actividades y productos, 
aunque ocasionalmente también puede abarcar los resultados, como, por 
ejemplo, el progreso alcanzado en los objetivos de desarrollo nacional. 

Las evaluaciones son valoraciones periódicas y objetivas de un proyecto, 
programa o política planificado, en curso o terminado. Se utilizan para res- 
ponder a preguntas específicas relacionadas con el diseño, la implementa- 
ción y los resultados. En contraste con el monitoreo, que es permanente, las 
evaluaciones se llevan a cabo en momentos concretos en el tiempo y a 
menudo requieren una perspectiva externa de los técnicos expertos. Su 
diseño, método y costo varían considerablemente en función del tipo de pre- 
gunta que la evaluación intente responder. En términos generales, las eva- 
luaciones pueden abordar tres tipos de preguntas (Imas y Rist, 2009):* 


e Preguntas descriptivas, que apuntan a lo que está ocurriendo. Se centran 
en los procesos, las condiciones, las relaciones organizacionales y las opi- 
niones de las partes interesadas. 


e Preguntas normativas, que comparan lo que ocurre con lo que debería 
ocurrir. Evalúan las actividades e investigan si los objetivos se cumplen o 
no. Estas preguntas pueden aplicarse a los insumos, las actividades y los 
productos. 


e Preguntas de causa y efecto, que se centran en la atribución. Investigan 
qué diferencia produce la intervención en los resultados. 


Hay numerosos tipos de evaluación y de métodos de evaluación, basados en 
datos cuantitativos y cualitativos. Los datos cualitativos no se expresan en 
números sino más bien mediante un lenguaje o, a veces, imágenes. Los datos 
cuantitativos son mediciones numéricas y habitualmente se asocian con 
escalas o métricas. Tanto los unos como los otros se pueden utilizar para 
responder al tipo de preguntas planteado más arriba. En la práctica, nume- 
rosas evaluaciones trabajan con ambos tipos de datos. Hay múltiples fuen- 
tes de datos que se pueden emplear en las evaluaciones, tanto datos 
primarios recopilados para el objetivo de la evaluación como los datos 
secundarios disponibles (véase el capítulo 16 sobre las fuentes de datos). 


La evaluación de impacto en la práctica 


Este libro se centra en las evaluaciones de impacto que se sirven de datos 
cuantitativos pero subrayan el valor del monitoreo, de los métodos de eva- 
luación complementarios y del uso tanto de datos cuantitativos como 
cualitativos. 

Las evaluaciones de impacto constituyen un tipo particular de evaluación 
que pretende responder a una pregunta específica de causa y efecto: ¿Cuál 
es el impacto (o efecto causal) de un programa en un resultado de interés? 
Esta pregunta básica incorpora una dimensión causal importante. Se centra 
únicamente en el impacto, es decir, en los cambios directamente atribuibles a 
un programa, una modalidad de programa o una innovación de diseño. 

La pregunta básica de la evaluación -cuál es el impacto o efecto causal 
de un programa en un resultado de interés?- se puede aplicar en numerosos 
contextos. Por ejemplo, ¿cuál es el efecto causal de las becas en la asistencia 
escolar y los logros académicos? ¿Cuál es el impacto en el acceso a la aten- 
ción sanitaria de contratar la atención primaria con proveedores privados? 
Silos suelos de tierra son reemplazados por suelos de cemento, ¿cuál será el 
impacto en la salud de los niños? ¿La mejora de los caminos aumenta el 
acceso a los mercados laborales e incrementa el ingreso de los hogares y, en 
caso afirmativo, en qué medida? ¿Influye el tamaño de la clase en los logros 
de los alumnos y, en caso afirmativo, en qué medida? Como muestran estos 
ejemplos, la pregunta de la evaluación básica se puede ampliar para analizar 
el impacto de una modalidad de programa o innovación de diseño, no solo de 
un programa. 

El sello distintivo de las evaluaciones de impacto es centrarse en la cau- 
salidad y la atribución. Todos los métodos de evaluación de impacto plan- 
tean alguna forma de pregunta de causa y efecto. El enfoque para abordar la 
causalidad determina las metodologías que se pueden utilizar. Para estimar 
el efecto causal o el impacto de un programa en los resultados, cualquier 
método de evaluación de impacto elegido debe estimar el llamado contra- 
factual, es decir: cuál habría sido el resultado de los participantes del pro- 
grama si no hubieran participado en el mismo. En la práctica, la evaluación 
de impacto requiere que el equipo de evaluación encuentre un grupo de 
comparación para estimar qué les habría ocurrido a los participantes del 
programa sin el programa, y luego efectuar comparaciones con el grupo de 
tratamiento que ha sido objeto del programa. En la segunda parte de este 
libro se describen los principales métodos que se pueden aplicar para 
encontrar grupos de comparación adecuados. 

Uno de los principales mensajes de este libro es que la elección de un 
método de evaluación de impacto depende de las características operativas 
del programa que se evalúa. Cuando las reglas de operación del programa son 
equitativas y transparentes y contemplan la rendición de cuentas, siempre 
se podrá encontrar un buen diseño de evaluación de impacto, ya sea que 


¿Por qué evaluar? 


Concepto clave 


Las evaluaciones de 
impacto pretenden 
responder un tipo 
particular de pregunta: 
¿Cuál es el impacto 

(o efecto causal) de un 
programa en un 
resultado de interés? 


Concepto clave 

La elección de un 
método de evaluación 
de impacto depende 
de las características 
operativas del 
programa que se 
evalúa, sobre todo de 
sus recursos 
disponibles, sus 
criterios de elegibili- 
dad para seleccionar a 
los beneficiarios y los 
plazos para la 
implementación del 
programa. 
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la evaluación de impacto se planifique al comienzo, o durante el proceso de 
diseño o de implementación de un programa. El contar con reglas de opera- 
ción claras y bien definidas para un programa no solo tiene un valor intrínseco 
en las políticas públicas y en una gestión solvente de los programas: también 
es esencial para construir buenos grupos de comparación, lo cual constituye 
la base de las evaluaciones de impacto rigurosas. Concretamente, la elección 
de un método de evaluación de impacto está determinada por las característi- 
cas operativas del programa, en particular sus recursos disponibles, los crite- 
rios de elegibilidad para seleccionar a los beneficiarios y los plazos para la 
implementación del programa. Como se verá en las partes 2 y 3 de este libro, 
se pueden formular tres preguntas acerca del contexto operativo de un deter- 
minado programa: ¿El programa tiene recursos para servir a todos los benefi- 
ciarios elegibles? ¿El programa está focalizado o es universal? ¿El programa se 
ofrecerá a todos los beneficiarios de una sola vez o de manera secuencial? La 
respuesta a estas tres preguntas determinará cuál de los métodos presentados 
en la parte 2 -asignación aleatoria, variables instrumentales, regresión dis- 
continua, diferencias en diferencias o pareamiento- es el más adecuado para 
un determinado contexto operativo. 


Evaluación de impacto prospectiva versus 
evaluación retrospectiva 


Las evaluaciones de impacto se pueden dividir en dos categorías: prospecti- 
vas y retrospectivas. Las evaluaciones prospectivas se desarrollan simultá- 
neamente con el diseño del programa y se incorporan en la implementación 
del mismo. Los datos de línea de base se recopilan antes de implementar el 
programa, tanto en el grupo que recibe la intervención (denominado grupo 
de tratamiento) como en el grupo utilizado como comparación y que no es 
objeto de la intervención (denominado grupo de comparación). Las evalua- 
ciones retrospectivas evalúan el impacto del programa después de que se lo 
haya implementado, y los grupos de tratamiento y de comparación se gene- 
ran ex post. 

Las evaluaciones de impacto prospectivas tienen más probabilidades de 
producir resultados solventes y creíbles, por tres motivos. En primer lugar, 
se pueden recopilar datos de línea de base para establecer las medidas de los 
resultados de interés antes de que el programa haya comenzado. Estos datos 
son importantes para medir los resultados antes de la intervención. Los 
datos de línea de base en los grupos de tratamiento y comparación se deben 
analizar para asegurar que los grupos sean similares. Las líneas de base tam- 
bién se pueden utilizar para evaluar la efectividad de la focalización, es 
decir, si un programa llega o no a sus beneficiarios previstos. 


La evaluación de impacto en la práctica 


En segundo lugar, definir la medida de éxito del programa en la etapa de 
planificación del mismo centra tanto el programa como la evaluación en los 
resultados previstos. Como se verá, las evaluaciones de impacto se basan en 
la teoría del cambio de un programa o una cadena de resultados. El diseño 
de una evaluación de este tipo contribuye a clarificar los objetivos del pro- 
grama, sobre todo porque requiere establecer medidas bien definidas de su 
éxito. Los responsables de las políticas deberían definir objetivos claros para 
el programa y formular preguntas claras que la evaluación debe contestar, 
para garantizar que los resultados sean relevantes para las políticas. En rea- 
lidad, el pleno apoyo de los responsables de las políticas es un requisito 
necesario para el éxito de una evaluación; no se deberían emprender evalua- 
ciones de impacto a menos que los responsables de las políticas estén con- 
vencidos de la legitimidad de las mismas y de su valor para fundamentar 
decisiones clave de las políticas públicas. 

En tercer lugar, y lo que es aún más importante, en una evaluación pros- 
pectiva los grupos de tratamiento y comparación se definen antes de imple- 
mentar la intervención que será evaluada. Como se explicará con mayor 
detalle en los próximos capítulos, existen muchas otras opciones para llevar 
a cabo evaluaciones válidas cuando las evaluaciones se planifican desde el 
comienzo, antes de que la implementación tenga lugar. En las partes 2 y 3 se 
argumenta que casi siempre es posible encontrar una estimación válida del 
contrafactual para cualquier programa cuyas reglas de asignación sean cla- 
ras y transparentes, siempre que la evaluación se diseñe de manera prospec- 
tiva. En resumen, las evaluaciones prospectivas son las que tienen más 
probabilidades de generar contrafactuales válidos. En la etapa de diseño, se 
pueden contemplar maneras alternativas de estimar un contrafactual válido. 
El diseño de la evaluación de impacto también se puede alinear plenamente 
con las reglas operativas del programa, así como con el despliegue o el pro- 
ceso de expansión de este último. 

Por el contrario, en las evaluaciones retrospectivas, el equipo que lleva a 
cabo la evaluación a menudo tiene información tan limitada que resulta difí- 
cil analizar si el programa fue implementado con éxito y si sus participantes 
realmente se beneficiaron de él. Numerosos programas no recopilan datos 
de línea de base a menos que se haya incorporado la evaluación desde el 
principio, y una vez que el programa está funcionando ya es demasiado 
tarde para hacerlo. 

Las evaluaciones retrospectivas que utilizan los datos existentes son 
necesarias para evaluar los programas creados en el pasado. En estas situa- 
ciones, las opciones para obtener una estimación válida del contrafactual 
son mucho más limitadas. La evaluación depende de reglas claras de opera- 
ción del programa en lo que respecta a la asignación de beneficios. También 
depende de la disponibilidad de datos con suficiente cobertura sobre los 
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grupos de tratamiento y comparación, tanto antes como después de la 
implementación del programa. El resultado es que la viabilidad de una eva- 
luación retrospectiva depende del contexto y nunca está garantizada. 
Incluso cuando son viables, las evaluaciones retrospectivas a menudo utili- 
zan métodos cuasi experimentales y dependen de supuestos más fuertes y, 
por ende, pueden producir evidencia más discutible.* 


Estudios de eficacia y estudios de efectividad 


La función principal de la evaluación de impacto consiste en producir evi- 
dencia sobre el desempeño de un programa a fin de que sea utilizada por los 
funcionarios públicos, los administradores del programa, la sociedad civil y 
otros actores relevantes. Los resultados de las evaluaciones de impacto son 
particularmente útiles cuando las conclusiones se pueden aplicar a una 
población de interés más amplia. La cuestión de la generalización es clave 
para los responsables de las políticas, puesto que determina si los resultados 
identificados en la evaluación pueden replicarse en grupos ajenos a los que 
han sido estudiados en la evaluación si aumenta la escala del programa. 

En los primeros tiempos de las evaluaciones de impacto de los programas 
de desarrollo, una gran parte de la evidencia se basaba en estudios de efica- 
cia, es decir, pruebas llevadas a cabo en un entorno específico en condicio- 
nes rigurosamente controladas para asegurar la consistencia entre el diseño 
de la evaluación y la implementación del programa. Dado que los estudios 
de eficacia suelen realizarse como experiencias piloto con una amplia parti- 
cipación técnica de los investigadores mientras el programa se está imple- 
mentando, puede que sus resultados, a menudo de pequeña escala, no 
ofrezcan necesariamente mucha información acerca del impacto de un pro- 
yecto similar implementado a mayor escala en circunstancias normales. Los 
estudios de eficacia analizan la prueba de concepto, a menudo para sondear 
la viabilidad de un nuevo programa o una teoría específica del cambio. Si el 
programa no genera impactos anticipados bajo estas condiciones cuidado- 
samente manejadas, es poco probable que funcione si se despliega en cir- 
cunstancias normales. Por ejemplo, una intervención piloto que introduce 
nuevos protocolos de tratamiento médico puede funcionar en un hospital 
con excelentes administradores y equipo médico, pero puede que la misma 
intervención no funcione en un hospital promedio con administradores 
menos esmerados y limitaciones de personal. Además, los cálculos de costo- 
beneficio variarán, dado que los pequeños estudios de eficacia quizá no cap- 
turen los costos fijos ni las economías de escala. Como consecuencia, si bien 
la evidencia de los estudios de eficacia puede ser útil para probar un enfoque 
innovador, los resultados a menudo tienen una capacidad de generalización 


La evaluación de impacto en la práctica 


limitada y no siempre representan adecuadamente entornos más generales, 
que suelen ser la principal preocupación de los responsables de las 
políticas. 

Al contrario, los estudios de efectividad proporcionan evidencia a partir 
de las intervenciones que tienen lugar en circunstancias normales, utili- 
zando vías de implementación regulares y con el objeto de producir conclu- 
siones que se pueden generalizar para una población grande. Cuando las 
evaluaciones de efectividad están adecuadamente diseñadas e implementa- 
das, los resultados pueden ser generalizables para beneficiarios previstos 
fuera de la muestra de la evaluación, siempre y cuando la ampliación utilice 
las mismas estructuras de implementación y llegue a poblaciones similares 
ala de la muestra de la evaluación. Esta validez externa tiene una importan- 
cia crítica para los responsables de las políticas porque les permite utilizar 
los resultados de la evaluación para fundamentar decisiones que afectan a 
todo el programa y que se aplican a los beneficiarios previstos más allá de la 
muestra de la evaluación (véase el recuadro 1.3). 


Concepto clave 
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Recuadro 1.3: Pruebas de la capacidad generalizable de los 


resultados 


Una evaluación multisitio del enfoque de 
“graduación” para aliviar la extrema 
pobreza 
Al evaluar un programa en múltiples contex 
tos, los investigadores pueden analizar si los 
resultados de una evaluación de impacto se 
pueden generalizar. Estas denominadas eva- 
luaciones multisitio contribuyen al creciente 
corpus de evidencia sobre qué funciona y 
qué no lo hace en el desarrollo, y pueden 
proporcionar perspectivas clave a los respon- 
sables de las políticas en diferentes países. 
Por ejemplo, en 2007 Banerjee et al. ini- 
ciaron una evaluación multisitio del enfoque 
de “graduación” para aliviar la extrema 
pobreza. El modelo había sido objeto de gran 
atención en todo el mundo después de 


¿Por qué evaluar? 


haber arrojado resultados impresionantes en 
Bangladesh. Puesto en marcha por el 
Bangladesh Rural Advancement Committee 
(BRAC), una gran organización de desarrollo 
global, el modelo se proponía ayudar a los 
muy pobres a “graduarse” de la extrema 
pobreza mediante transferencias de efectivo, 
activos productivos y formación intensiva. 
Banerjee y sus colegas pretendían anali- 
zar si el enfoque de graduación podía funcio- 
nar en diferentes países a través de seis 
evaluaciones de impacto aleatorias simultá- 
neas en Etiopía, Ghana, Honduras, India, 
Pakistán y Perú. En cada país, los investiga- 
dores trabajaron con organizaciones no 
gubernamentales (ONG) locales para imple- 
mentar un programa de graduación similar. 


Continúa en la página siguiente. 
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Recuadro 1.3: Pruebas de la capacidad generalizable de los resultados (continúa) 


Si bien el programa se modificó para ade- 
cuarse a los diferentes contextos en cada 
país, los principios clave seguían siendo los 
mismos. El programa se centró en los hoga- 
res más pobres en pueblos de las regiones 
más pobres de cada país. Durante 24 meses, 
los hogares beneficiarios recibieron activos 
productivos, formación y apoyo, coaching en 
habilidades para la vida, dinero, información 
sanitaria y ayuda en la inclusión financiera. La 
evaluación de impacto medía la efectividad 
de proporcionar este paquete de beneficios. 

El estudio evaluó los impactos del programa 
en 10 conjuntos de resultados. Un año des- 
pués de que el programa terminara en los seis 
países, se produjeron mejoras considerables 
en ocho de los 10 conjuntos de resultados: 
consumo per cápita, seguridad alimentaria, 


Fuentes: Banerjee et al. (2015); BRAC (2013). 


valor de los activos, inclusión financiera, tiempo 
dedicado a trabajar, ingresos y rentas, salud 
mental y participación política. La magnitud de 
los impactos variaba según los países, y hubo 
impactos considerables en el valor de los acti- 
vos en todos los países excepto uno. No se 
registraron impactos estadísticamente signifi- 
cativos en el índice de salud física. 

Los resultados también variaban de un 
país a otro. Las mejoras en el consumo per 
cápita no fueron significativas en Honduras ni 
en Perú, y la mejora en el valor de los activos 
no lo fue en Honduras. Sin embargo, en térmi- 
nos agregados, la evaluación apuntaba hacia 
la promesa de este tipo de intervención multi- 
facética para mejorar las vidas de las familias 
muy pobres en una gama de entornos. 


Enfoques complementarios 


Como se ha señalado, las evaluaciones de impacto responden a preguntas 
específicas de causa y efecto. Otros enfoques -entre ellos un estrecho moni- 
toreo del programa, y también el uso complementario de otros métodos de 
evaluación, como simulaciones ex ante, análisis con métodos mixtos que se 
basan en datos cualitativos y cuantitativos, y evaluaciones de procesos- pue- 
den servir como valiosos complementos de las evaluaciones de impacto. 
Estos otros enfoques tienen numerosas aplicaciones útiles, como estimar el 
efecto de las reformas antes de que sean implementadas, contribuir a focali- 
zar las preguntas centrales de la evaluación de impacto, realizar seguimien- 
tos de la implementación del programa e interpretar los resultados de las 
evaluaciones de impacto. 

Las evaluaciones de impacto que se realizan en aislamiento con respecto 
a otras fuentes de información son vulnerables en términos tanto de su cali- 
dad técnica como de su relevancia para las políticas públicas. Si bien los 
resultados de dichas evaluaciones pueden proporcionar evidencia robusta 
para saber si ha tenido lugar un efecto, a menudo existen limitaciones para 
proporcionar una perspectiva clara de los canales a través de los cuales la 
política o programa influyó en los resultados observados. Sin información de 
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las evaluaciones de procesos sobre la naturaleza y el contenido del programa 
para contextualizar los resultados de la evaluación, puede que los responsa- 
bles de las políticas queden confundidos acerca de por qué se alcanzaron o 
no ciertos resultados. Además, sin datos de monitoreo sobre cómo, cuándo y 
dónde se está implementando el programa, la evaluación será ciega en cuanto 
a silos beneficios llegaron a los beneficiarios previstos y cuándo lo hicieron, 
o bien si alcanzaron de forma inintencionada al grupo de comparación. 


El monitoreo 


El monitoreo de la implementación del programa, las más de las veces 
mediante el uso de datos administrativos, es crítico en una evaluación de 
impacto. Permite al equipo de evaluación verificar si las actividades se están 
realizando según lo planificado, es decir, a qué participantes se les adjudicó 
el programa, con qué rapidez se amplió este último, y cómo se están gas- 
tando los recursos. Esta información es fundamental para implementar la 
evaluación, por ejemplo, para asegurar que los datos de línea de base se 
recopilen antes de que se introduzca el programa en la muestra de la evalua- 
ción y para verificar la integridad de los grupos de tratamiento y compara- 
ción. El monitoreo es esencial para verificar si un beneficiario realmente 
participa en el programa y para que no intervengan los no beneficiarios. 
Además, los datos administrativos pueden proporcionar información sobre 
el costo de implementación del programa, lo cual también es necesario para 
los análisis de costo-beneficio y costo-efectividad. 


Simulaciones ex ante 


Las simulaciones ex ante son evaluaciones que utilizan datos disponibles para 
simular los efectos esperados de una reforma de programas o políticas en los 
resultados de interés. Pueden ser muy útiles para medir la efectividad espe- 
rada relativa de una gama de opciones de diseño de programas alternativos 
en los resultados. Se trata de métodos habitualmente usados que dependen 
de la disponibilidad de datos de gran alcance y calidad que se pueden utilizar 
para aplicar modelos de simulación adecuados a la pregunta en cuestión 
(véase el recuadro 1.4). Al contrario de las evaluaciones de impacto, estos 
métodos se emplean para simular futuros efectos potenciales, más que para 
medir los impactos reales de los programas implementados. Este tipo de 
métodos puede ser sumamente útil para establecer referencias para los pro- 
bables efectos del programa y para instituir objetivos realistas, así como para 
estimar costos, tasas de retorno y otros parámetros económicos. Se suelen 
utilizar como la base de los análisis económicos de los proyectos, especial- 
mente antes de que se introduzca una reforma o se implemente un proyecto. 
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Recuadro 1.4: Simulación de posibles efectos del proyecto a 


través del modelado estructural 


Construcción de un modelo para probar 
diseños alternativos utilizando datos de 
Progresa en México 

Se puede utilizar un cierto tipo de simulación 
ex ante (modelado estructura) para estimar 
los efectos de un programa en una gama de 
diseños alternativos. En la evaluación Progresa/ 
Oportunidades/Prospera, que se describe en 
el recuadro 1.1, los datos recopilados eran lo 
suficientemente ricos para que los investiga- 
dores construyeran un modelo que podía 
simular los efectos esperados de diseños de 
programas alternativos. 

Todd y Wolpin (2006) utilizaron datos de 
línea de base de la evaluación de impacto 
para construir un modelo de las decisiones de 
los padres a propósito de sus hijos, incluida la 
escolarización. Los autores simularon cómo 
serían los efectos con distintos diseños de 
programa, y descubrieron que si el programa 
eliminaba los incentivos en efectivo para la 


Fuente: Todd y Wolpin (2006). 


asistencia escolar en los primeros años y, en 
su lugar, utilizaba el dinero para aumentar los 
incentivos en efectivo para los alumnos de 
cursos superiores, los efectos en la escolari- 
zación promedio completada probablemente 
serían mayores. 

En este caso, las proyecciones se realiza- 
ron utilizando la encuesta de línea de base de 
una evaluación de impacto que ya se había 
realizado. Los resultados de las predicciones 
se pudieron probar para ver si arrojaban los 
mismos impactos que el experimento del pro- 
grama real. Sin embargo, esto no es posible 
de hacer normalmente. Este tipo de métodos 
de simulación suele utilizarse antes de que el 
programa realmente se implemente con el fin 
de analizar los probables efectos de diversos 
diseños de programa alternativos. Así, pue- 
den proporcionar una base para estrechar la 
gama de opciones a probarse en la práctica. 


Nota: Para otro ejemplo de modelado estructural, véase Bourguignon, Ferreira y Leite (2003). 


Los métodos mixtos 


Los enfoques de métodos mixtos que combinan datos cuantitativos y cualita- 
tivos constituyen un complemento clave en las evaluaciones de impacto que se 
basan únicamente en el uso de datos cuantitativos, sobre todo para contribuir 
a generar hipótesis y enfocar las preguntas de la investigación antes de recopi- 
lar los datos cuantitativos, así como para presentar perspectivas y visiones 
novedosas del desempeño de un programa durante y después de su implemen- 
tación. Hay numerosos métodos cualitativos, que componen su propio ámbito 
de investigación. Los métodos que generan datos cualitativos suelen basarse 
en enfoques abiertos, que no dependen de las respuestas predeterminadas de 
las personas entrevistadas. Los datos se generan a través de una gama de enfo- 
ques, incluidos grupos focales, historiales y entrevistas con beneficiarios selec- 
cionados y otros informantes clave (Rao y Woolcock, 2003). También pueden 
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incluir una gama de evaluaciones observacionales y etnográficas. A pesar de 
que las observaciones, ideas y opiniones recopiladas durante el trabajo cualita- 
tivo no suelen ser estadísticamente representativas de los beneficiarios del 
programa -y, por lo tanto, no son generalizables- resultan útiles para entender 
por qué se han alcanzado o no ciertos resultados (recuadro 1.5). 

Las evaluaciones que integran el análisis cuantitativo y cualitativo se carac- 
terizan por utilizar métodos mixtos (Bamberger, Rao y Woolcock, 2010). En el 


Recuadro 1.5: Un método mixto de evaluación en acción 


Combinación de una prueba controlada 
aleatoria con un estudio etnográfico en 
India 
Los enfoques de métodos mixtos pueden ser 
especialmente útiles cuando evalúan progra- 
mas con resultados que son difíciles de medir 
en las encuestas cuantitativas. Los progra- 
mas de los ámbitos de democracia y gober 
nanza constituyen ejemplos de este tipo. 

Así, mientras se diseñaba una estrategia 
de evaluación para el programa “Campaña del 
pueblo” que pretendía mejorar la participa- 
ción ciudadana en los gobiernos locales, 
Ananthpur, Malik y Rao (2014) integraron un 
ensayo controlado aleatorio (RCT, por sus 
siglas en inglés, Randomized Control Trial) 
(véase el glosario) con un estudio etnográfico 
llevado a cabo en un subconjunto del 10% de 
la muestra de evaluación utilizada para el RCT. 
Se emplearon métodos de pareamiento para 
asegurar características similares entre pue- 
blos de tratamiento y de comparación en la 
muestra para el estudio cualitativo. Se asignó 
un experimentado investigador de campo 
para que viviera en cada pueblo y estudiara 
los impactos del programa en las estructuras 
sociales y políticas del pueblo. 

El estudio etnográfico continuó durante 
dos años después de que terminó el RCT, lo 
que permitió observaciones de efectos a 


Fuente: Ananthpur, Malik y Rao (2014). 
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más largo plazo. Si bie 
la intervención no ten 
tico significativo, el e 


n el RCT encontró que 
ía un impacto estadís- 
studio cualitativo pro- 


porcionó visiones novedosas de las causas 


del “fracaso” de la in 


ervención. La investi- 


gación cualitativa identificó diversos facto- 


res que obstaculizaro 
esta última: las variac 


n la efectividad de la 
iones en la calidad de 


la facilitación del programa, la falta de apoyo 
de arriba hacia abajo y las arraigadas estruc- 


turas de poder local. 


La evidencia cualitativa también descubrió 
algunos impactos del programa menos tangi- 
bles e inesperados. En los pueblos del trata- 
miento, el programa mejoró la resolución de 
conflictos en la prestación de servicios y 


aumentó la participaci 


ón de las mujeres en 


las actividades de desarrollo de sus comuni- 
dades. Además, los investigadores de campo 


observaron que los go 


biernos locales funcio- 


naban mejor en los pueblos de tratamiento. 
Sin la comprensión matizada del con- 


texto y de la dinámica 


local que proporciona 


el componente cualitativo, los investigado- 


res no habrían podido 


entender por qué los 


datos cuantitativos no encontraron impac- 
tos. El estudio etnográfico fue capaz de pro- 
porcionar una evaluación más rica, con 
perspectivas novedosas de los elementos 
útiles para mejorar el programa. 
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desarrollo de un enfoque de método mixto, Creswell (2014) define tres 
aproximaciones básicas: 


1. Convergente paralelo. Se recopilan simultáneamente datos cuantitativos 
y cualitativos y se utilizan para triangular los hallazgos o para generar los 
primeros resultados sobre cómo se está implementando el programa y 
cómo lo perciben los beneficiarios. 


2. Explicativo secuencial. Los datos cualitativos proporcionan contexto y 
explicaciones para los resultados cuantitativos, para explorar casos “ati- 
picos” de éxito y fracaso, y para desarrollar explicaciones sistemáticas del 
desempeño del programa, como se constató en los resultados cuantitati- 
vos. De esta manera, el trabajo cualitativo puede contribuir a determinar 
por qué en el análisis cuantitativo se observan ciertos resultados, y se 
pueden usar para entrar en la “caja negra” de lo que ocurrió en el pro- 
grama (Bamberger, Rao y Woolcock, 2010). 


3. Exploratorio secuencial. El equipo de evaluación puede utilizar grupos 
focales, listas, entrevistas con informantes clave y otros enfoques cualita- 
tivos para desarrollar hipótesis a propósito de cómo y por qué el pro- 
grama funcionaría, y para clarificar preguntas acerca de la investigación 
que hay que abordar en el trabajo cuantitativo de evaluación de impacto, 
lo que incluye las alternativas más relevantes del diseño de programas 
que deben ser probadas a través de la evaluación de impacto. 


Las evaluaciones de procesos 


Las evaluaciones de procesos se centran en cómo se implementa y funciona 
un programa, considerando si corresponde a su diseño original, y documen- 
tando su desarrollo y funcionamiento. Normalmente, estas evaluaciones 
pueden llevarse a cabo con relativa rapidez y a un costo razonable. En los 
proyectos piloto y en las etapas iniciales de un programa, pueden ser una 
valiosa fuente de información sobre cómo mejorar la implementación del 
programa, y se suelen utilizar como primeros pasos para desarrollar un pro- 
grama de modo que los ajustes operativos se puedan hacer antes de que se 
termine su diseño. Pueden probar si un programa funciona como estaba dise- 
ñado y si es consistente con la teoría del cambio del mismo (recuadro 1.6). 

Una evaluación de procesos debería incluir los siguientes elementos, que 
a menudo se basan en una cadena de resultados o modelo lógico (véase el 
capítulo 2), complementados con documentos del programa y entrevistas 
con informantes clave y grupos focales beneficiarios:* 


e Objetivos del programa y contexto en el que funciona. 


e Descripción del proceso utilizado para diseñar e implementar el programa. 
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Recuadro 1.6: Fundamentos para una ampliación a escala 
nacional mediante una evaluación de procesos en Tanzania 


En el desempeño de un programa hay múlti- 
ples facetas. La evidencia de las evaluacio- 
nes de procesos puede complementar los 
resultados de la evaluación de impacto y pro- 
porcionar un cuadro más completo de dicho 
desempeño. Esto puede ser particularmente 
importante para que los programas piloto 
arrojen luz sobre cómo están funcionando las 
nuevas instituciones y los nuevos procesos. 

En 2010 el gobierno de Tanzania decidió 
llevar a cabo en tres distritos un plan piloto 
de transferencias condicionadas con base en 
la comunidad. El programa proporcionaba 
una transferencia de efectivo a los hogares 
pobres en función del cumplimiento de cier 
tos requisitos educativos y sanitarios. Los 
grupos comunitarios ayudaron a asignar las 
transferencias a los hogares más vulnerables 
de sus comunidades. Para evaluar si este 
sistema basado en la comunidad funcionaba 
en el contexto de Tanzania, un equipo de 
investigadores del Banco Mundial decidió 
integrar una evaluación de procesos en una 
evaluación de impacto tradicional. 

Para la evaluación de procesos se utiliza- 
ron datos cualitativos y cuantitativos. Un año 
después de implementar la encuesta de 
línea de base en distritos piloto, los investi- 
gadores organizaron un ejercicio de tarjetas 
de puntuación en la comunidad para calificar 
aspectos del programa, basándose en gru- 
pos focales compuestos por miembros de la 
comunidad. Estos grupos también se usaron 
para dar lugar a minuciosas discusiones 
sobre los impactos del programa que podrían 


Fuentes: Berman (2014); Evans et al. (2014). 


¿Por qué evaluar? 


ser difíciles de cuantificar, como los cambios 
en las relaciones entre los miembros del 
hogar o la dinámica de la comunidad. El obje- 
tivo de la evaluación del proceso consistía en 
entender cómo funcionaba el programa en la 
práctica y presentar recomendaciones de 
mejoras. 

La evaluación de impacto descubrió que 
el programa tenía impactos positivos y esta- 
disticamente significativos en resultados 
clave de educación y salud. Los niños de los 
hogares que participaban tenían un 15% 
más de probabilidades de completar la 
escuela primaria y un 11% menos de proba- 
bilidades de caer enfermos. Además, los gru- 
pos focales con los maestros revelaron que 
los alumnos de los grupos de tratamiento 
estaban más preparados y más atentos. 

Sin embargo, los grupos focales con 
miembros de la comunidad indicaban que 
había cierto grado de descontento con el 
proceso de selección de los beneficiarios. 
Los participantes se quejaban de falta de 
transparencia en la selección y de retrasos 
en los pagos. La evaluación del proceso per 
mitió a los administradores del programa 
abordar estos problemas y mejorar el funcio- 
namiento del programa. 

El trabajo de evaluación fundamentó la 
decisión del gobierno de Tanzania de aumen- 
tar la escala del programa. Se espera que las 
transferencias condicionadas con base en 
las comunidades lleguen a casi un millón de 
hogares hacia 2017, teniendo en cuenta las 
lecciones de esta evaluación exhaustiva. 
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Conceptos clave 
El análisis de 
costo-beneficio estima 
los beneficios totales 
esperados de un 
programa, comparado 
con sus costos totales 
esperados. 

El análisis de 
costo-efectividad 
compara el costo 
relativo de dos o más 
programas o de 
alternativas de 
programas para 
alcanzar un resultado 
común. 
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e Descripción de las operaciones del programa, incluido cualquier cambio 
en las mismas. 


e Datos básicos sobre las operaciones del programa, incluidos indicadores 
financieros y de cobertura. 


e Identificación y descripción de eventos que escapan al control del pro- 
grama que pueden haber influido en la implementación y los resultados. 


e Documentación, como notas de concepto, manuales operativos, actas de 
las reuniones, informes y memorandos. 


Aplicar una evaluación de impacto a un programa cuyos procesos operati- 
vos no han sido validados plantea el doble riesgo de que se malgasten los 
recursos de dicha evaluación, cuando en realidad podría bastar con una eva- 
luación de proceso más sencilla, o bien el riesgo de que los ajustes necesa- 
rios en el diseño del programa se introduzcan una vez que la evaluación de 
impacto ya ha comenzado, lo cual cambia el carácter del programa que se 
evalúa y la utilidad de la mencionada evaluación. 


Análisis de costo-beneficio y costo-efectividad 


Es sumamente importante que la evaluación de impacto pueda complemen- 
tarse con información sobre el costo del proyecto, del programa o de la polí- 
tica que se evalúa. 

Una vez que están disponibles los resultados de la evaluación de impacto, 
estos pueden combinarse con información sobre los costos del programa 
para responder a otras dos preguntas. En primer lugar, en la forma básica de 
una evaluación de impacto, añadir información del costo permitirá llevar a 
cabo un análisis de costo-beneficio, a partir de lo cual se podrá responder a 
la pregunta: ¿cuáles son los beneficios de un programa con un determinado 
costo? El análisis de costo-beneficio estima los beneficios totales esperados 
de un programa, comparado con sus costos totales esperados. Busca cuanti- 
ficar todos los costos y beneficios de un programa en términos monetarios, 
y evalúa si estos últimos superan a los costos.” 

En un mundo ideal, el análisis de costo basado en la evidencia de la eva- 
luación de impacto existiría no solo para un programa concreto sino tam- 
bién para una serie de programas o alternativas de programas, de modo que 
los responsables de las políticas pudieran valorar qué programa o alterna- 
tiva es más efectivo en función de los costos para lograr un determinado 
objetivo. Cuando una evaluación de impacto ensaya alternativas de un pro- 
grama, añadir información sobre costos le permite responder a la segunda 
pregunta: ¿cómo se comparan diversas alternativas de implementación en 
cuanto a su costo-efectividad? Este análisis de costo-efectividad compara el 
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costo relativo de dos o más programas o alternativas de programas para 
alcanzar un objetivo común, como la producción agrícola o las puntuacio- 
nes de los alumnos en las pruebas. 

En un análisis de costo-beneficio o de costo-efectividad, la evaluación de 
impacto estima el lado del beneficio o el lado de la efectividad, mientras que 
examinar los costos proporciona la información sobre los mismos. Este libro 
se centra en la evaluación de impacto y no aborda en detalle cómo recopilar 
datos sobre costos o llevar a cabo análisis de costo-beneficio o costo- 
efectividad. Sin embargo, es fundamental que la evaluación de impacto se 
complemente con información sobre el costo del proyecto, del programa o 
de la política que se evalúa. Una vez que se disponga de información sobre el 
impacto y el costo de diversos programas, el análisis de costo-efectividad 
puede identificar cuáles son las inversiones que arrojan la tasa más alta de 
retorno y permiten a los responsables de las políticas tomar decisiones bien 
fundamentadas sobre las intervenciones en las que hay que invertir. El 
recuadro 1.7 ilustra cómo se pueden utilizar las evaluaciones de impacto 
para identificar los programas más efectivos en términos de costo- 
efectividad y mejorar la asignación de recursos. 


Recuadro 1.7: La evaluación de costo-efectividad 


Comparación de evaluaciones de 
programas que influyen en el 
aprendizaje en las escuelas primarias 

Al evaluar un cierto número de programas con 
objetivos similares, es posible comparar la 
costo-efectividad relativa de diferentes enfo- 
ques para mejorar los resultados, como el 
aprendizaje en las escuelas primarias. Para 
que esto sea posible, los evaluadores deben 
divulgar no solo los resultados de la evaluación 
de impacto sino también información detallada 
sobre el costo de las intervenciones. En un 
meta análisis de los resultados de aprendizaje 
efectuado en países en desarrollo, Kremer, 
Brannen y Glennerster (2013) utilizaron infor 
mación sobre el costo de 30 evaluaciones de 
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impacto para analizar la costo-efectividad de 
diferentes tipos de intervenciones educativas. 

Los autores compararon varios tipos de 
intervenciones en educación, entre ellas el 
acceso a la educación, los insumos habitua- 
les, las innovaciones pedagógicas, la rendi- 
ción de cuentas de los maestros y la gestión 
basada en la escuela. En particular, investi- 
garon las mejoras en las puntuaciones de las 
pruebas, en términos de desviaciones 
estándar, que podían obtenerse por cada 
US$100 invertidos en el programa. Aunque 
es probable que los costos disminuyeran si 
los programas se implementaban a escala, 
para mayor consistencia, los investigadores 
utilizaron los costos tal como se informaba 


Continúa en la página siguiente. 
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Recuadro 1.7: La evaluación de costo-efectividad (continúa) 


en las evaluaciones. Así, encontraron que 
las reformas pedagógicas y las intervencio- 
nes que mejoran la rendición de cuentas y 
aumentan los incentivos para los maestros 
tienden a ser las más costo-efectivas. Por 
otro lado, llegaron a la conclusión de que 
proveer más de los mismos insumos sin 
cambiar la pedagogía o la rendición de cuen- 
tas tenía impactos limitados en las puntua- 
ciones de las pruebas. Por ejemplo, un 
programa aplicado en Kenia que incrementó 
el número de maestros en las escuelas no 
tuvo impactos significativos en las puntua- 
ciones de las pruebas de los alumnos. 

Los programas que empoderaban a las 
comunidades locales a través de intervencio- 
nes de gestión basadas en la escuela parecían 
ser los más exitosos y costo-efectivos, sobre 
todo cuando estas reformas se formalizaron. 


Fuente: Kremer, Brannen y Glennerster (2013). 


Por ejemplo, si bien la creación y formación de 
comités de escuelas locales en Indonesia no 
tuvo impactos significativos en las puntuacio- 
nes de las pruebas, lograr que los comités fue- 
ran más representativos a través de las 
elecciones resultó sumamente costo-efectivo. 

Como ilustra su estudio, comparar las 
evaluaciones de intervenciones que tienen 
objetivos similares puede arrojar luz sobre 
la efectividad de diferentes intervenciones 
en diferentes contextos. Sin embargo, los 
investigadores deben reconocer que los con- 
textos varían de forma considerable según 
los programas y escenarios. También sigue 
siendo relativamente raro contar con abun- 
dancia de datos de distintos programas en 
términos de mediciones, evaluaciones de 
impacto e información del costo de resulta- 
dos comparables. 


Consideraciones éticas con respecto a la 
evaluación de impacto 


Cuando se toma la decisión de diseñar una evaluación de impacto, se deben 
considerar algunos asuntos éticos. Se han formulado preguntas a propósito 
de si la evaluación de impacto es ética en sí misma y por sí sola. Un punto de 
partida de este debate consiste en considerar la ética de invertir recursos 
públicos en programas cuya efectividad se desconoce. En este contexto, la 
falta de evaluación puede en sí misma ser no ética. La información sobre la 
efectividad del programa que generan las evaluaciones de impacto puede 
conducir a una inversión más efectiva y ética de los recursos públicos. 

Otras consideraciones éticas tienen que ver con las reglas utilizadas para 
asignar los beneficios del programa, con los métodos con los que se estudia 
a los seres humanos y con la transparencia en la documentación de los pla- 
nes de investigación, datos y resultados. Estos temas se abordarán en detalle 
en el capítulo 13. 

El principio ético más básico en una evaluación es que la prestación de 
intervenciones con beneficios conocidos no debería negarse o retrasarse 
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únicamente en función de los objetivos de la evaluación. En este libro se 
sostiene que las evaluaciones no deberían dictar cómo se asignan los benefi- 
cios, sino más bien que deberían ajustarse a reglas de asignación del pro- 
grama que sean equitativas y transparentes. En este contexto, cualquier 
preocupación ética a propósito de las reglas de asignación del programa no 
nace de la evaluación de impacto en sí misma sino directamente de las reglas 
de operación del programa. Planificar las evaluaciones puede ser útil para 
dilucidar las reglas de operación del programa, y contribuir a estudiar si son 
equitativas y transparentes, sobre la base de criterios claros de elegibilidad. 

La asignación aleatoria de los beneficios del programa a menudo suscita 
inquietudes éticas a propósito de la negación de dichos beneficios a destina- 
tarios elegibles. Sin embargo, la mayoría de los programas funciona en con- 
textos operativos con recursos financieros y administrativos limitados, lo 
cual impide llegar a todos los beneficiarios elegibles de una sola vez. Desde 
una perspectiva ética, todos los sujetos que son igualmente elegibles para 
participar en cualquier tipo de programa social deberían tener la misma 
oportunidad de ser destinatarios del programa. La asignación aleatoria 
cumple este requisito ético. En situaciones en las cuales un programa se 
aplicará en fases a lo largo del tiempo, la implementación se puede basar en 
seleccionar aleatoriamente el orden en que los beneficiarios, todos igual- 
mente meritorios, serán receptores del programa. En estos casos, los desti- 
natarios que ingresen más tarde en el programa pueden conformar el grupo 
de comparación para los primeros beneficiarios, generando un sólido diseño 
de evaluación, así como un método transparente e imparcial para asignar los 
escasos recursos. 

La ética de la evaluación de impacto excede a la ética de las reglas de 
asignación del programa. También incluye la ética de la investigación en 
seres humanos, así como la ética de llevar a cabo investigaciones transpa- 
rentes, objetivas y reproducibles, como se analiza en el capítulo 13. 

En numerosos países e instituciones internacionales, se han creado jun- 
tas de revisión institucional o comités éticos para regular las investigaciones 
que involucran a seres humanos. Estos organismos se encargan de asesorar, 
aprobar y monitorear los estudios de investigación, con los objetivos funda- 
mentales de proteger los derechos y promover el bienestar de todos los 
sujetos. Aunque las evaluaciones de impacto son eminentemente empresas 
operativas, también constituyen estudios de investigación y, como tales, 
deberían adherir a las directrices de investigación para seres humanos. 

Conseguir que una evaluación de impacto sea objetiva, transparente y 
reproducible es un componente ético igualmente importante de la investi- 
gación. Para que la investigación sea transparente, los planes de evaluación 
de impacto pueden incluirse en un plan de análisis previo y ser sometidos a 
un registro de estudios. Una vez que la investigación se lleve a cabo, los datos 
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y códigos utilizados en el análisis pueden hacerse públicamente disponibles 
de modo que otras personas puedan replicar el trabajo, a la vez que se pro- 
tege el anonimato. 


La evaluación de impacto en las decisiones de 
políticas 


Las evaluaciones de impacto son necesarias para informar a los responsables 
de las políticas en relación con una gama de decisiones, que abarcan desde 
los recortes de programas ineficientes hasta el aumento de escala de inter- 
venciones que funcionan, o ajustar los beneficios del programa y seleccionar 
entre diversas alternativas de programas. Dichas evaluaciones son más efec- 
tivas cuando se aplican de manera selectiva para responder a preguntas clave 
de políticas, y se suelen aplicar a programas piloto innovadores que están 
probando un enfoque desconocido pero prometedor. La evaluación de las 
transferencias condicionadas en México, que se describe en el recuadro 1.1, 
se volvió influyente no solo debido a la naturaleza innovadora del programa 
sino también porque la evaluación misma proporcionó evidencia creíble y 
sólida que no podía ignorarse en las posteriores decisiones de las políticas. 
La adopción y ampliación del programa tanto a nivel nacional como interna- 
cional tuvieron una fuerte influencia de los resultados de la evaluación. 

Las evaluaciones de impacto se pueden utilizar para explorar diferentes 
tipos de preguntas relacionadas con las políticas. La forma básica de evalua- 
ción de impacto probará la efectividad de un determinado programa. En 
otras palabras, responderá a la pregunta: ¿son un determinado programa o 
una determinada intervención efectivos en comparación con la ausencia del 
programa? Como se verá en la parte 2 del libro, este tipo de evaluación de 
impacto depende de la comparación entre un grupo de tratamiento al que se 
aplicó la innovación, el programa o la política y un grupo al que no se le 
aplicó, con el fin de estimar la efectividad. El principal reto en una evalua- 
ción de impacto consiste en construir un grupo de comparación que sea lo 
más similar posible al grupo de tratamiento. El grado de comparabilidad 
entre los grupos de tratamiento y comparación es central para la “validez 
interna” de la evaluación y, por lo tanto, es fundamental para evaluar el 
impacto causal de un programa. 

Las evaluaciones de impacto también se están utilizando cada vez más 
para probar innovaciones de diseño en un programa sin un grupo de compa- 
ración “puro” seleccionado fuera del programa. Estos tipos de evaluaciones 
a menudo se realizan para ver si una determinada innovación de diseño 
puede mejorar la efectividad del programa o disminuir los costos (véase el 
recuadro 1.8). 
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Recuadro 1.8: Evaluación de programas innovadores 


El equipo de Beahavioural Insights del 
Reino Unido 

Creado en 2010 por el gobierno británico, el 
equipo de Behavioural Insights (BIT, por sus 
siglas en inglés) fue la primera institución 
estatal destinada a mejorar los servicios 
públicos a través de la aplicación de la cien- 
cia del comportamiento. Los objetivos de la 
organización son mejorar la costo-efectividad 
de los servicios públicos, introducir modelos 
realistas de comportamiento humano en los 
análisis de las políticas y permitir que las per- 
sonas tomen mejores decisiones. Con este 
objetivo, el BIT utiliza experimentos con eva- 
luaciones de impacto incorporadas para pro- 
bar ideas innovadoras en las políticas 
públicas. Desde su creación, la organización 
ha implementado más de 150 pruebas de 
control aleatorizado en una amplia variedad 
de ámbitos de las políticas nacionales, a 
menudo utilizando datos administrativos. 

El BIT ha llevado a cabo evaluaciones de 
innovaciones en los servicios públicos sobre 
la base de la literatura de la ciencia del com- 
portamiento. La organización colaboró con un 
municipio de Londres para introducir un 
incentivo de sorteo para mejorar la inscripción 
de los votantes antes de las elecciones. Los 
residentes fueron asignados aleatoriamente a 
tres grupos: i) sin sorteo, ii) un sorteo con un 
premio de £1.000 si se inscribían hasta cierta 
fecha y ili) un sorteo con un premio de £5.000 
si se inscribían antes de esa misma fecha. El 


Fuente: Behavioural Insights Team. 


BIT llegó a la conclusión de que el incentivo 
del sorteo aumentó de manera significativa la 
inscripción de los votantes. Además, ahorró al 
gobierno local mucho dinero; anteriormente, 
el gobierno había recurrido a una onerosa 
campaña puerta a puerta para incrementar la 
inscripción de votantes. 

En otra evaluación innovadora, el BIT se 
asoció con el Servicio Nacional de Salud y el 
Departamento de Salud para analizar cómo 
animar en términos costo-efectivos a las per- 
sonas a registrarse como donantes de órga- 
nos. Se trata de uno de los ensayos aleatorios 
controlados más grandes jamás llevados a 
cabo en el sector público del Reino Unido. 
Los investigadores encontraron resultados 
alentadores a partir de una intervención que 
probaba el uso de diferentes mensajes en 
una página web pública de alto tránsito. La 
frase breve con mejores resultados se basó 
en la idea de reciprocidad y preguntaba: “Si 
necesitara un trasplante de órganos, ¿recurri- 
ría a él? Si la respuesta es sí, ayude a otros”. 

El BIT es de propiedad conjunta y está 
financiado por el gobierno británico, Nesta 
(una institución de beneficencia para la inno- 
vación), y los propios empleados. El modelo 
se ha ampliado fuera del Reino Unido y se 
han creado oficinas de BIT en Australia y 
Estados Unidos. Además, Estados Unidos 
siguió el modelo BIT para crear una iniciativa 
social y de ciencia del comportamiento en la 
Casa Blanca en 2015. 


Las evaluaciones también pueden utilizarse para probar la efectividad de 


las alternativas de implementación de un programa. Por ejemplo, pueden 
responder a la siguiente pregunta: cuando un programa se puede implemen- 
tar de diversas maneras, ¿cuál es la modalidad de programa más efectiva o la 
más costo-efectiva? En este tipo de evaluación pueden compararse dos o más 
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enfoques o rasgos de diseño dentro de un programa para generar evidencia 
en relación con cuál es la alternativa más costo-efectiva para lograr un deter- 
minado objetivo. A estas alternativas de programa suele denominárselas 
“ramas de tratamiento”. Por ejemplo, puede que un programa desee probar 
campañas de extensión alternativas y seleccione a un grupo para que reciba 
una campaña de correo, mientras que otro es destinatario de visitas puerta a 
puerta y un tercero recibe mensajes de texto SMS, para evaluar cuál es el 
método más costo-efectivo. Las evaluaciones de impacto que prueban trata- 
mientos de programas alternativos suelen incluir un grupo de tratamiento 
para cada una de las ramas de tratamiento, así como un grupo de compara- 
ción “puro” que no recibe ninguna intervención del programa. Este tipo de 
evaluaciones permite que los responsables de la toma de decisiones elijan 
entre distintas alternativas de implementación, y puede ser muy útil para 


mejorar el desempeño de los programas y ahorrar costos (recuadro 1.9). 
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Recuadro 1.9: La evaluación de alternativas de diseño de 


programas 


La desnutrición y el desarrollo cognitivo 
en Colombia 
A comienzos de los años setenta, la Estación de 
Investigación de Ecología Humana, en colabora- 
ción con el Ministerio de Educación de 
Colombia, implementó un programa piloto para 
abordar el problema de la desnutrición infantil en 
Cali, Colombia, mediante atención sanitaria y 
actividades educativas, además de alimentos y 
complementos nutricionales. Como parte del 
plan piloto, un equipo de evaluadores debía 
determinar cuánto duraría un programa de este 
tipo para reducir la desnutrición entre los niños 
en edad preescolar de las familias de bajos 
ingresos, y si las intervenciones también podrían 
generar mejoras en el desarrollo cognitivo. 
Finalmente, el programa se implementó 
para ocho familias elegibles, aunque durante 
el plan piloto los evaluadores pudieron com- 
parar grupos similares de niños que recibían 
el tratamiento durante lapsos diferentes. 


Primero, los evaluadores utilizaron un pro- 
ceso de selección para identificar un grupo 
de 333 niños desnutridos. Estos niños fue- 
ron clasificados en 20 sectores por barrio, y 
cada sector fue asignado aleatoriamente a 
uno de cuatro grupos de tratamiento. Los 
grupos diferían solo en la secuencia en que 
comenzaban el tratamiento y, por lo tanto, en 
la cantidad de tiempo que dedicarían al pro- 
grama. El grupo 4 fue el que empezó primero 
y se vio expuesto al tratamiento durante el 
período más largo, seguido de los grupos 3, 
2 y 1. El tratamiento consistía en seis horas 
diarias de atención sanitaria y actividades 
educativas, más alimentos y complementos 
nutricionales. A intervalos regulares a lo largo 
del programa, los evaluadores utilizaron prue- 
bas cognitivas para seguir el progreso de los 
niños en los cuatro grupos. 

Los evaluadores llegaron a la conclusión 
de que los niños que estaban más tiempo 


Continúa en la página siguiente. 
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Recuadro 1.9: La evaluación de alternativas de diseño de programas (continúa) 


en el programa mostraban la mayor mejora 
en el área cognitiva. En el test de inteligen- 
cia Stanford-Binet, que calcula la edad men- 
tal menos la edad cronoldgica, el promedio 
de los niños del grupo 4 era de -5 meses y el 


Este ejemplo ilustra cómo los encarga- 
dos de implementar el programa y los res- 
ponsables de las políticas pueden utilizar las 
evaluaciones de múltiples ramas de trata- 
miento para determinar cuál es la alternativa 


de los niños del grupo 1 era de -15 meses. más efectiva para un programa. 


Fuente: McKay et al. (1978). 


Además, se pueden hacer comparaciones entre subgrupos de recepto- 
res dentro de una determinada evaluación para responder a la siguiente 
pregunta: ¿el programa es más efectivo para un subgrupo que para otro 
subgrupo? Por ejemplo, la introducción de un nuevo programa de estudios, 
¿aumentó más las puntuaciones de las pruebas entre las alumnas que entre 
los alumnos? Este tipo de preguntas de una evaluación de impacto se 
orienta a documentar si hay alguna heterogeneidad en los impactos del 
programa en diferentes subgrupos. Estas preguntas deben tenerse en 
cuenta al comienzo, dado que es necesario incorporarlas en el diseño de 
una evaluación de impacto y requieren muestras suficientemente grandes 
para llevar a cabo el análisis de los distintos subgrupos de interés. 

Más allá de las diversas características del diseño ya tratadas, cabe consi- 
derar los canales a través de los cuales las evaluaciones de impacto influyen 
en las políticas públicas. Esto puede suceder en relación con decisiones 
acerca de continuar, reformar o poner fin a un programa. Los resultados de 
la evaluación de impacto también pueden fundamentar el aumento de la 
escala de las pruebas piloto, como queda ilustrado en el caso de Mozambique 
presentado en el recuadro 1.2. 

Las evaluaciones también pueden aportar evidencia de un país a otro o se 
pueden utilizar para analizar cuestiones fundamentales, como las relaciona- 
das con la conducta. Aventurarse más allá de las fronteras de una evaluación 
de un programa individual suscita la pregunta sobre su carácter generaliza- 
ble. Como se verá en el capítulo 4, en el contexto de una determinada eva- 
luación, la muestra de la evaluación está diseñada para ser estadísticamente 
representativa de la población de unidades elegibles de las que se extrae la 
propia muestra y, por lo tanto, es externamente válida. Pero más allá de la 
validez externa, el carácter generalizable determinará si los resultados de 
una evaluación realizada a nivel local serán válidos en otros entornos y para 
otros grupos de población. Este concepto más expansivo y ambicioso 
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depende de la acumulación de evidencia empírica creíble en toda una gama 
de entornos. 

El campo de la evaluación de impacto se basa cada vez más en el cre- 
ciente inventario de evaluaciones creíbles para alcanzar conclusiones 
ampliamente generalizables. Este esfuerzo se centra en probar si una 
teoría concreta del cambio es válida en diferentes contextos y si un pro- 
grama similar probado en entornos diferentes arroja resultados similares 
(véase el recuadro 1.10). El uso de múltiples evaluaciones para responder 
a preguntas centrales o reunir evidencia a través de meta análisis, estu- 
dios sistemáticos y registros de evaluación está aumentando rápida- 
mente, y abre una nueva frontera en el trabajo de evaluación. Si los 
resultados son consistentes en diferentes y múltiples entornos, esto 
brinda mayor confianza a los responsables de las políticas en cuanto a la 
viabilidad del programa en toda una gama de contextos y de grupos de 
población. Se trata de una consideración importante, dado que los deba- 
tes acerca de la capacidad de replicar resultados son fundamentales en 
cuestiones relacionadas con la efectividad y escalabilidad más amplia de 
un determinado programa. 
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Recuadro 1.10: El enfoque de evaluaciones de impacto de clusters 


Construcción estratégica de la evidencia 
para reducir las brechas de conocimiento 
A pesar de que el carácter generalizable de 
una sola evaluación de impacto puede ser 
bajo, en combinación con evaluaciones simila- 
res en diferentes contextos los profesionales 
del desarrollo pueden elaborar conclusiones 
más ampliamente aplicables a propósito de 
qué funciona y qué no. Cada vez más, las ini- 
ciativas de evaluación de impacto como el 
Fondo Estratégico para la Evaluación de 
Impacto del Banco Mundial (SIEF) y la 
Evaluación de Impacto del Desarrollo (DIME), 
así como la Iniciativa Internacional para la 
Evaluación de Impacto (3IE), se proponen 
brindar a los responsables de las políticas 


perspectivas para aplicar más ampliamente 
las intervenciones de un programa y de las 
políticas, utilizando un enfoque de “cluster de 
investigación” 

A menudo, las convocatorias de propues- 
tas se orientan en torno a un conjunto de 
preguntas de investigación destinadas a fun- 
damentar el programa y el diseño de las polí- 
ticas, para generar evaluaciones de impacto 
que contribuirán a una base de evidencia 
coordinada. El objetivo consiste en orientar 
la investigación y la generación de evidencia 
en torno a tipos de intervenciones o tipos de 
resultados. 

Dentro de estos clusters se producen eva- 
luaciones para llenar lagunas en el conjunto 


Continúa en la página siguiente. 
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Recuadro 1.10: El enfoque de evaluaciones de impacto de clusters (continúa) 


de pruebas existente. Por ejemplo, hay sólida 
evidencia que demuestra que los niños que 
reciben una combinación de nutrición, esti- 
mulación cognitiva y apoyo sanitario en los 
primeros 1.000 días de vida tienen más pro- 
babilidades de evitar retrasos en el desarrollo. 
Sin embargo, faltan investigaciones sobre 
cuál es la mejor manera de prestar este 
apoyo combinado de formas escalables y 
costo-efectivas. SIEF apoya la investigación 
para explorar esta pregunta en Bangladesh, 
Colombia, India, Indonesia, Madagascar, 
Mozambique, Nepal y Níger. 


Agrupar las evaluaciones en torno a un 
cúmulo común de preguntas de investiga- 
ción y utilizando una batería clave de instru- 
mentos para medir los resultados permite a 
los responsables de las políticas y a los pro- 
fesionales del desarrollo ver qué tipos de 
programas funcionan en múltiples entornos. 
Después, podrán revisar sus propios dise- 
ños de políticas y programas con un sentido 
más afinado de los contextos en que deter- 
minados programas han funcionado o no, o 
teniendo en cuenta cómo en diversos casos 
se han logrado resultados concretos. 


Fuentes: DIME (www.worldbank.org/dime); SIEF (http://www.worldbank.org/en/programs/sief-trust-fund); 31E 


(http://www.3ieimpact.org). 


La decisión de llevar a cabo una evaluación de 
impacto 


No todos los programas justifican una evaluación de impacto. Las evaluacio- 
nes de impacto deberían utilizarse selectivamente cuando la pregunta que 
se plantea exige un exhaustivo análisis de la causalidad. Estas evaluaciones 
pueden ser costosas si uno tiene que recopilar sus propios datos, y el presu- 
puesto con el que se cuenta para la evaluación debería utilizarse de manera 
estratégica. Si uno está comenzando, o pensando en ampliar un nuevo pro- 
grama y tiene dudas acerca de proceder o no con una evaluación de impacto, 
formularse unas pocas preguntas básicas le ayudará en esta decisión. 

La primera pregunta que debe formularse es: ¿qué está en juego? ¿Será 
que la evidencia del éxito del programa, o la modalidad del mismo o la inno- 
vación en el diseño fundamentarán decisiones clave? Estas decisiones a 
menudo implican asignaciones presupuestarias y determinan la escala del 
programa. Si el presupuesto es limitado o si los resultados afectarán solo a 
unas pocas personas, puede que una evaluación de impacto no merezca la 
pena. Por ejemplo, puede que no se justifique llevar a cabo una evaluación 
de impacto de un programa en una clínica pequeña que ofrece asesoría a los 
pacientes de hospital mediante voluntarios. En cambio, una reforma del 
salario de los maestros que eventualmente afectará a todos los maestros de 
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primaria del país sería un programa con elementos mucho más importantes 
en juego. 

Si se decide que hay mucho en juego la siguiente pregunta es: ¿existe evi- 
dencia que demuestre que el programa funciona? Concretamente, ¿se sabe 
cuál sería el alcance del impacto del programa? ¿Hay evidencia disponible de 
programas similares en circunstancias similares? Si no hay evidencia dispo- 
nible acerca del potencial del tipo de programa proyectado, puede que con- 
venga comenzar con una prueba piloto que incorpore una evaluación de 
impacto. En cambio, si hay evidencia disponible de circunstancias similares, 
el costo de una evaluación de impacto probablemente estaría justificado solo 
si puede abordar una nueva pregunta determinante para las políticas públi- 
cas. Este sería el caso si el programa incluye innovaciones sustanciales que 
todavía no han sido probadas. 

Para justificar la movilización de recursos técnicos y financieros necesa- 
rios para llevar a cabo una evaluación de impacto de alta calidad, la inter- 
vención que será evaluada debe ser: 


e Innovadora. Probará un enfoque nuevo y prometedor. 


e Aplicable. Se puede aumentar la escala o se puede aplicar en un entorno 
diferente. 


e Estratégicamente relevante. La evidencia proporcionada por la evalua- 
ción de impacto fundamentará una decisión clave ligada a la interven- 
ción. Esto podría estar relacionado con la ampliación del programa, 
reformas o asignaciones presupuestarias. 


e No probada. Se sabe poco acerca de la efectividad del programa o de las 
alternativas de diseño, tanto a nivel global como en un contexto 
específico. 


e Influyente. Los resultados se utilizarán para fundamentar decisiones de 
políticas. 


Una pregunta final es la siguiente: ¿se cuenta con los recursos necesarios para 
una buena evaluación de impacto? Estos recursos atañen a elementos técni- 
cos, como datos y el tiempo adecuado, recursos financieros para llevar a cabo 
la evaluación y recursos institucionales de los equipos que participan, más su 
interés y compromiso para construir y utilizar evidencia causal. Como se 
aborda en profundidad en el capítulo 12, un equipo de evaluación es esencial- 
mente una asociación entre dos grupos: un equipo de responsables de las 
políticas y un equipo de investigadores. Los equipos tienen que trabajar en 
aras del objetivo común de asegurar que una evaluación técnicamente robusta 
y bien diseñada se implemente de manera adecuada y arroje resultados rele- 
vantes para cuestiones clave de las políticas y del diseño del programa. 
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Una clara comprensión de la premisa y de la promesa de la evaluación de 
impacto por parte del equipo de evaluación contribuirá a asegurar su éxito. 

Si usted decide que tiene sentido encarar una evaluación de impacto, en 
virtud de las preguntas planteadas y la necesidad relacionada de analizar la 
causalidad, más los elementos en juego asociados con los resultados y la 
necesidad de evidencia acerca del desempeño de su programa, entonces lo 
invitamos a continuar con la lectura. Este libro está dedicado a usted y a su 
equipo de evaluación. 


Recursos adicionales 


e Para material relacionado con este capitulo e hipervínculos de recursos adi- 
cionales, se recomienda consultar el sitio web de Evaluación de Impacto en la 
Práctica (www.worldbank.org/ieinpractice). 
e Para más información sobre las evaluaciones de impacto, véase S. R. Khandker, 
G. B. Koolwal y H. A. Samad (2009), Handbook on Quantitative Methods of 
Program Evaluation. Washington, D.C.: Banco Mundial. 
e Para un buen resumen de las pruebas controladas aleatorias, véase R. Glen- 
nerster y K. Takavarasha (2013), Running Randomized Evaluations: A Practical 
Guide. Princeton, NJ: Princeton University Press. 
e Otros recursos sobre pruebas controladas aleatorias: 
> E. Duflo, R. Glennerster y M. Kremer (2007), “Using Randomization in 
Development Economics Research: A Toolkit” Documento de discusión 
CEPR Núm. 6059. Londres: Center for Economic Policy Research. 

> E. Duflo y M. Kremer (2008), “Use of Randomization in the Evaluation 
of Development Effectiveness.” En: Evaluating Development Effectiveness 
(vol. 7). Washington, D.C.: Banco Mundial. 

e Otros recursos útiles sobre evaluación de impacto: 

> F. Leeuw y J. Vaessen (2009), Impact Evaluations and Development. NONIE 
Guidance on Impact Evaluation. Washington, D.C.: NONIE. 

> M. Ravallion (2001), “The Mystery of the Vanishing Benefits: Ms. Speedy 
Analyst’s Introduction to Evaluation.” World Bank Economic Review 15 (1): 
115-40. 

> —. 2008. “Evaluating Anti-Poverty Programs.” En: Handbook of Develop- 
ment Economics (vol. 4), editado por Paul Schultz y John Strauss. Amster- 
dam: North Holland. 

> —— 2009. “Evaluation in the Practice of Development.” World Bank 
Research Observer 24 (1): 29-53. 


Notas 


1. Para una vision general de los programas de transferencias condicionadas y el 
influyente rol que desempeña el programa de México, asi como también su 
evaluación de impacto, véase Fiszbein y Schady (2009). 
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2. Los datos administrativos son aquellos datos recopilados rutinariamente como 
parte de la administración del programa e incluyen información sobre costos, 
registros y transacciones, normalmente como parte de la prestación de servicios. 

3. Hay numerosas tipologías para evaluaciones y preguntas de las evaluaciones. 
Véanse Berk y Rossi (1998) y Rossi, Lipsey y Freeman (2003). 

4. Los métodos “cuasi experimentales” son métodos de evaluación de impacto que 
utilizan un contrafactual, pero se diferencian de los métodos “experimentales” 
en el sentido de que no se basan en la asignación aleatoria de la intervención. 
Véase la sección 2 para un debate sobre ambos tipos de métodos. 

5. Para una visión general de los métodos de investigación cualitativos, véase 
Patton (1990). 


6. Adaptado del Bureau of Justice Assistance (1997: 97-98 y 102-03). 


7. Para un debate detallado sobre el análisis de costo-beneficio, véanse Zerbe y 
Dively (1994); Brent (1996); Belli et al. (2001), y Boardman et al. (2001). 


Referencias bibliográficas 


Ananthpur, K., K. Malik y V. Rao. 2014. “The Anatomy of Failure: An Ethnography 
of a Randomized Trial to Deepen Democracy in Rural India” Documento de 
trabajo de investigación 6958. Washington, D.C.: Banco Mundial. 

Bamberger, M., V. Rao y M. Woolcock. 2010. “Using Mixed Methods in Monitoring 
and Evaluation: Experiences from International Development” Documento de 
trabajo de investigación de políticas Núm. 5245. Washington, D.C.: Banco 
Mundial. 

Banerjee, A., E. Duflo, N. Goldberg, D. Karlan, R. Osei, et al. 2015. “A Multifaceted 
Program Causes Lasting Progress for the Very Poor: Evidence from Six 
Countries” Science 348 (6236). doi:10.1126/science.1260799. 

Behrman, J. R. y J. Hoddinott. 2001. “An Evaluation of the Impact of PROGRESA 
on Pre-school Child Height.” FCND Briefs 104, International Food Policy 
Research Institute, Washington, D.C. 

Belli, P., J. Anderson, H. Barnum, Jo. Dixon y J. P. Tan. 2001. Handbook of Economic 
Analysis of Investment Operations. Washington, D.C.: Banco Mundial. 

Berk, R. A. y P. Rossi. 1998. Thinking about Program Evaluation 2 Qda. edición). 
Thousand Oaks, CA: Sage Publications. 

Berman, D. 2014. “Tanzania: Can Local Communities Successfully Run Cash 
Transfer Programs?” Washington, D.C.: Human Development Network, Banco 
Mundial. 

Boardman, A., A. Vining, D. Greenberg y D. Weimer. 2001. Cost-Benefit Analysis: 
Concepts and Practice. New Jersey: Prentice Hall. 

Bourguignon, F., F. H. G. Ferreira y P. G. Leite. 2003. “Conditional Cash Transfers, 
Schooling y Child Labor: Micro-Simulating Brazil’s Bolsa Escola Program.” 
The World Bank Economic Review 17 (2): 229-54. 

BRAC (Bangladesh Rural Advancement Committee). 2013. “An End in Sight for 
Ultra-poverty.” Nota de información de BRAC (noviembre). Disponible en 
http://www.brac.net/sites/default/files/BRAC%20Briefing%20-%20TUP. pdf. 


La evaluación de impacto en la práctica 


Brent, R. 1996. Applied Cost-Benefit Analysis. Cheltenham, Reino Unido: Edward 
Elgar. 

Bureau of Justice Assistance. 1997. Urban Street Gang Enforcement. Informe 
preparado por el Institute for Law and Justice, Inc. Washington, D.C.: Office 
of Justice Programs, Bureau of Justice Assistance, U.S. Department of 
Justice. 

Creswell, J. W. 2014. Research Design: Qualitative, Quantitative, and Mixed Methods 
Approaches. Thousand Oaks, CA: Sage Publications. 

Evans, D. K., S. Hausladen, K. Kosec y N. Reese. 2014. “Community-based 
Conditional Cash Transfers in Tanzania: Results from a Randomized Trial.” 
Washington, D.C.: Banco Mundial. 

Fiszbein, A. y N. Schady. 2009. Conditional Cash Transfers, Reducing Present and 
Future Poverty. Documento de trabajo de investigación de políticas Núm. 47603. 
Washington, D.C.: Banco Mundial. 

Gertler, P. J. 2004. “Do Conditional Cash Transfers Improve Child Health? 
Evidence from PROGRESA’s Control Randomized Experiment” American 
Economic Review 94 (2): 336-41. 

Glennerster, R. y K. Takavarasha. 2013. Running Randomized Evaluations: A 
Practical Guide. Princeton, NJ: Princeton University Press. 

Imas, L. G. M. y R. C. Rist. 2009. The Road to Results: Designing and Conducting 
Effective Development Evaluations. Washington, D.C.: Banco Mundial. 

Kremer, M., C. Brannen y R. Glennerster. 2013. “The Challenge of Education and 
Learning in the Developing World.” Science 340 (6130): 297-300. 

Khandker, S., G. B. Koolwal y H. A. Samad. 2010. Handbook on Impact Evaluation: 
Quantitative Methods and Practices. Washington, D.C.: Banco Mundial. 

Levy, S. y E. Rodriguez. 2005. Sin herencia de pobreza: el programa Progresa- 
Oportunidades de México. Washington, D.C.: BID. 

Martinez, S., S. Nadeau y V. Pereira, 2012. “The Promise of Preschool in Africa: A 
Randomized Impact Evaluation of Early Childhood Development in Rural 
Mozambique.” Washington, D.C.: Banco Mundial y Save the Children. 

McKay, H., A. McKay, L. Siniestra, H. Gómez y P. Lloreda. 1978. “Improving 
Cognitive Ability in Chronically Deprived Children.” Science 200 (21): 270-78. 

Patton, M. Q. 1990. Qualitative Evaluation and Research Methods (2da. edición). 
Newbury Park, CA: Sage. 

Rao, V. y M. Woolcock. 2003. “Integrating Qualitative and Quantitative 
Approaches in Program Evaluation.” En: F. J. Bourguignon y L. Pereira da 
Silva, The Impact of Economic Policies on Poverty and Income Distribution: 
Evaluation Techniques and Tools, pp. 165-90. Nueva York: Oxford University 
Press. 

Rossi, P., M. W. Lipsey y H. Freeman. 2003. Evaluation: A Systematic Approach 
(7ma. edición) Thousand Oaks, CA: Sage Publications. 

Schultz, P. 2004. “School Subsidies for the Poor: Evaluating the Mexican Progresa 
Poverty Program.” Journal of Development Economics 74 (1): 199-250. 

Skoufias, E. y B. McClafferty. 2001. “Is Progresa Working? Summary of the Results 
of an Evaluation by IFPRI.” Washington, D.C.: International Food Policy 
Research Institute. 


¿Por qué evaluar? 33 


34 


Todd, P. y K. Wolpin. 2006. “Using Experimental Data to Validate a Dynamic 
Behavioral Model of Child Schooling and Fertility: Assessing the Impact ofa 
School Subsidy Program in Mexico” American Economic Review 96 (5): 
1384-1417. 

Zerbe, R. y D. Dively. 1994. Benefit Cost Analysis in Theory and Practice. Nueva York: 
Harper Collins Publishing. 


La evaluación de impacto en la práctica 


CAPÍTULO 2 


La preparación de una 
evaluación 


Pasos iniciales 


Este capítulo reseña los pasos iniciales que es preciso ejecutar para configu- 
rar una evaluación. Estos pasos son: i) construir una teoría del cambio que 
describa cómo se supone que el proyecto logrará los objetivos previstos; 
ii) elaborar una cadena de resultados que sirva como instrumento útil para 
esbozar la teoría del cambio; iii) especificar las preguntas de la evaluación; y 
iv) seleccionar los indicadores para evaluar el desempeño. 

Los cuatro pasos son necesarios y es preferible implementarlos al inicio, es 
decir, cuando comienza a diseñarse el proyecto de evaluación del programa o 
de las reformas. Esto requiere la participación de todas las partes interesadas, 
desde los responsables de las políticas hasta los implementadores del pro- 
yecto, con el fin de forjar una visión común de los objetivos y de cómo serán 
alcanzados. Esta participación permitirá crear un consenso sobre el enfoque 
de la evaluación y las principales preguntas a responder, y reforzará los vincu- 
los entre la evaluación, la implementación del programa y el diseño de políti- 
cas públicas. La aplicación de estos pasos contribuye a la claridad y la 
especificidad, que son útiles tanto para elaborar una buena evaluación de 
impacto como para diseñar e implementar un programa efectivo. Cada uno de 
los pasos está claramente definido y está articulado en el modelo lógico incor- 
porado en la cadena de resultados desde la precisión en la determinación de 
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los objetivos y las preguntas hasta la definición de las ideas integradas en la 
teoría del cambio, y los resultados esperados por la implementación del pro- 
grama. Se requiere una especificación clara de los indicadores concretos que 
se utilizarán para medir el éxito del programa, no solo para asegurar que la 
evaluación esté enfocada sino también que el programa tenga objetivos bien 
definidos. Esto también proporciona una base firme para anticipar los efectos 
producidos. Estos parámetros son esenciales para definir los elementos técni- 
cos de la evaluación, incluyendo el tamaño de la muestra requerida para la 
evaluación y los cálculos de la potencia, como se analiza en el capítulo 15. 

En la mayoría de las evaluaciones de impacto será importante incluir una 
evaluación de costo-beneficio, o costo-efectividad, como se indica en el 
capítulo 1. Los formuladores de política deberán estar atentos para saber 
qué programas o reformas son efectivos pero también cuál es su costo. 
Se trata de un aspecto crucial para fundamentar decisiones acerca de si es 
viable aumentar la escala de un programa y si es posible replicarlo, dos con- 
sideraciones importantes en las decisiones de políticas públicas. 


Construcción de una teoría del cambio 


Una teoría del cambio es la descripción de cómo se supone que una interven- 
ción conseguirá los resultados deseados. En ese sentido, expone la lógica cau- 
sal de cómo y por qué un proyecto, una modalidad de programa o un diseño 
de innovación lograrán los resultados previstos. Debido al enfoque causal de 
la investigación, una teoría del cambio es la base de cualquier evaluación de 
impacto. Su construcción es uno de los primeros requisitos para el diseño del 
proyecto, ya que contribuye a especificar las preguntas de la investigación. 

Las teorías del cambio describen una secuencia de eventos que generan 
resultados: analizan las condiciones y los supuestos necesarios para que 
se produzca el cambio, explicitan la lógica causal inscrita en el programa y 
trazan el mapa de las intervenciones del programa a lo largo de las vías lógicas 
causales. Configurar una teoría del cambio en conjunto con las partes intere- 
sadas puede clarificar y mejorar el diseño del programa. Esto es especialmente 
importante en los programas que pretenden influir en las conductas, pues las 
teorías del cambio pueden ayudar a determinar los insumos y actividades de 
la intervención, qué productos se generan y cuáles son los resultados finales 
derivados de los cambios de comportamiento de los beneficiarios. 

El mejor momento para desarrollar una teoría del cambio es al comienzo 
de la fase de diseño, cuando es posible reunir a las partes interesadas con el 
fin de definir una visión colectiva del programa, sus objetivos y la ruta para 
alcanzar esos objetivos. Así, las partes interesadas podrán implementar el 
programa a partir de un entendimiento común del mismo, de sus objetivos y 
de su funcionamiento. 
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Por otra parte, es útil que los diseñadores de programas revisen la 
literatura en busca de evidencia que describa experiencias y programas 
similares, y comprueben los contextos y los supuestos detrás de las vías 
causales de la teoría del cambio que configuran. Por ejemplo, en el caso del 
proyecto de reemplazo de suelos de tierra por suelos de cemento desarro- 
llado en México (que se reseña en el recuadro 2.1), la literatura aporta 


Recuadro 2.1: La articulación de una teoría del cambio: de los 
pisos de cemento a la felicidad en México 


En la evaluación del proyecto Piso Firme, 
Cattaneo et al. analizaron el impacto de la 
mejora de las viviendas en la salud y el 
bienestar. Tanto el proyecto como la evaluación 
estuvieron motivados por una clara teoría del 
cambio. 

El objetivo del proyecto Piso Firme consiste 
en aumentar la calidad de vida, sobre todo en 
lo referente a la salud, de los grupos vulnerables 
que viven en zonas densamente pobladas y de 
bajos ingresos en México. El programa se 
inició en el estado norteño de Coahuila sobre 
la base de una evaluación contextual llevada a 
cabo por el gobierno estadual. 

La cadena de resultados del programa es 
clara. Se realizan visitas puerta por puerta en 
los barrios elegidos para ofrecer a los hogares 
la construcción de 50 m2 de suelo de cemento. 
El gobierno compra y entrega el cemento y 
los hogares y los voluntarios comunitarios 
aportan la mano de obra. El producto es la 
construcción de un suelo de cemento que se 
puede completar aproximadamente en un 
día. Entre los resultados previstos por este 
programa se destacan una mayor limpieza, 
una mejora en la salud de los habitantes de la 
casa y un aumento de su felicidad. 

La lógica de esta cadena de resultados es 
que los suelos de tierra son un foco de 
enfermedades parasitarias porque es difícil 
mantenerlos limpios. Los parásitos viven y se 


Fuente: Cattaneo et al. (2009). 
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multiplican en las heces y pueden ser ingeridos 
por las personas cuando son introducidos en 
el interior de la vivienda por los seres humanos 
o los animales. La evidencia demuestra que 
los niños pequeños que habitan en casas con 
suelos de tierra tienen más probabilidades de 
sufrir infecciones intestinales provocadas 
por parásitos, que pueden causar diarrea y 
desnutrición y que a menudo perjudican el 
desarrollo cognitivo e incluso pueden llevar a la 
muerte. Los suelos de cemento interrumpen 
la transmisión de las infecciones de los 
parásitos. También controlan la temperatura 
de manera más eficiente y mejoran el aspecto 
de la vivienda. 

Estos resultados previstos sirvieron 
de fundamento para las preguntas que 
Cattaneo et al. (2009) formularon en la eva- 
luación. La hipótesis del equipo era que al 
reemplazar los suelos de tierra con suelos de 
cemento se reduciría la incidencia de la dia- 
rrea, la desnutrición y la deficiencia de micro- 
nutrientes. A su vez, las mejoras en la salud 
y nutrición deberían impactar positivamente 
en el desarrollo cognitivo de los niños peque- 
ños. Los investigadores también anticiparon 
y comprobaron un mayor bienestar entre los 
adultos, medido por el aumento de la satis- 
facción en la población respecto de las condi- 
ciones de sus viviendas y el descenso de las 
tasas de depresión y de estrés percibidas. 
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información valiosa sobre cómo se transmiten los parásitos y de qué 
manera la infestación provocada por estos organismos produce diarrea 
infantil. 


Desarrollo de una cadena de resultados 


Una cadena de resultados es una manera de describir una teoría del cambio. 
Otros enfoques incluyen modelos teóricos, modelos lógicos, marcos lógicos 
y modelos de resultados. Todos estos modelos integran los elementos bási- 
cos de una teoría del cambio, a saber: una cadena causal, una especificación 
de las condiciones e influencias externas y la determinación de los supues- 
tos clave. En este libro se utilizará el modelo de cadena de resultados porque 
es el más sencillo y claro para describir la teoría del cambio en el contexto 
operativo de los programas de desarrollo. 

Una cadena de resultados establece la lógica causal desde el inicio del 
programa, empezando con los recursos disponibles, hasta el final, 
teniendo en cuenta los objetivos de largo plazo. Fija una definición lógica 
y plausible de cómo una secuencia de insumos, actividades y productos 
relacionados directamente con el proyecto interactúa con el comporta- 
miento y define las vías para lograr los impactos (véase el gráfico 2.1). Una 
cadena de resultados básica esquematizará un mapa con los siguientes 
elementos: 


e Insumos. Los recursos de que dispone el proyecto, que incluyen el 
personal y el presupuesto. 


e Actividades. Las acciones emprendidas o el trabajo realizado para trans- 
formar los insumos en productos. 


e Productos. Los bienes y servicios tangibles que producen las actividades 
del programa (controlados de forma directa por la agencia ejecutora). 


e Resultados. Los resultados que previsiblemente se lograrán cuando la 
población se beneficie de los productos del proyecto. En general, estos 
resultados se observan entre el corto y el mediano plazo y no suelen estar 
controlados de forma directa por la agencia ejecutora. 


e Resultados finales. Los resultados finales alcanzados señalan si los objeti- 
vos del proyecto se cumplieron o no. Normalmente, los resultados finales 
dependen de múltiples factores y se producen después de un período 
más largo. 


Tanto la implementación como los resultados forman parte de la cadena 
de resultados. La ejecución tiene que ver con el trabajo efectuado en el 
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Gráfico 2.1 Los elementos de una cadena de resultados 


INSUMOS ap ACTIVIDADES [> PRODUCTOS => RESULTADOS as sear eae 


Presupuestos, Serie de Bienes y servicios No totalmente Cambios en 
dotación de actividades producidos bajo el bajo el control los resultados 
personal y otros emprendidas control de la de la agencia producidos por 
recursos para producir agencia ejecutora. ejecutora. múltiples 
disponibles. bienes y factores. 
servicios. 
bes Resultados (LADO DE LA DEMANDA + 
( Implementación (LADO DE LA OFERTA) J ( LADO DE LA OFERTA) ) 


Fuente: Elaboración propia, sobre la base de múltiples fuentes. 


proyecto, que incluye insumos, actividades y productos. Estos ámbitos, que 
son responsabilidad directa del proyecto, suelen ser monitoreados para 
verificar si el proyecto está generando los bienes y servicios previstos. Los 
resultados comprenden los resultados y los resultados finales, que no son 
controlados de manera directa por el proyecto y dependen de cambios en el 
comportamiento de los beneficiarios del programa, es decir, dependen de 
las interacciones entre la oferta (la implementación) y la demanda (los 
beneficiarios). Por lo general, estos ámbitos son objeto de evaluaciones de 
impacto para medir su efectividad. 

Una buena cadena de resultados contribuirá a hacer aflorar los supuestos y 
riesgos implícitos en la teoría del cambio. Los formuladores de políticas 
están mejor situados para articular la lógica causal y los supuestos en los 
que descansa, así como los riesgos que pueden influir en el logro de los resul- 
tados previstos. El equipo que dirige la evaluación deberá explicitar los 
supuestos y riesgos implícitos en consulta con los responsables de las politi- 
cas. Una buena cadena de resultados también incluirá evidencia provista por 
la literatura relacionada con los resultados de programas similares. 

Las cadenas de resultados son útiles para todos los proyectos, indepen- 
dientemente de que contemplen o no una evaluación de impacto, porque 
permiten a los responsables de las políticas y alos administradores del pro- 
grama explicitar los objetivos del proyecto, lo que contribuye a clarificar la 
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lógica causal y la secuencia de eventos que se encuentran detrás de un 
programa. Además, pueden identificar brechas y eslabones débiles en el 
diseño del programa y, por lo tanto, pueden ayudar a mejorar su diseño. 
Las cadenas de resultados también facilitan el monitoreo y la evaluación 
pues especifican cuál es la información que debe ser monitoreada en cada 
eslabón de la cadena para realizar un seguimiento de la implementación del 
programa, y definen qué indicadores de resultados hay que incluir cuando 
se evalúa el proyecto. 


La especificación de las preguntas de la 
evaluación 


La claridad de la pregunta de la evaluación es el punto de partida de cual- 
quier evaluación efectiva. La formulación de esta pregunta debe centrarse 
en la investigación, para asegurar que se ajusta al interés de las políticas 
en cuestión. En el caso de una evaluación de impacto, es necesario estruc- 
turarla como una hipótesis comprobable. La evaluación de impacto luego 
genera evidencia creíble para responder esa pregunta. Como se indicó 
antes, la pregunta fundamental de la evaluación de impacto es: ¿cuál es el 
impacto (o el efecto causal) de un programa en un resultado de interés? 
Se pone énfasis en el impacto, es decir, en los cambios directamente atri- 
buibles a un programa, a una modalidad de programa o a una innovación 
de diseño. 

La pregunta de la evaluación debe orientarse según el interés central de 
las políticas en cuestión. Como se señaló en el capítulo 1, las evaluaciones de 
impacto pueden analizar toda una gama de preguntas. En ese sentido, antes 
de estudiar cómo se llevará a cabo el proyecto, el equipo de evaluación debe- 
ría aclarar cuál es la pregunta que se analizará como primer paso, sobre la 
base de la teoría del cambio. 

Tradicionalmente, las evaluaciones de impacto se han centrado en el 
impacto que tiene un programa plenamente implementado en los resulta- 
dos finales y en contraste con los resultados observados en un grupo de 
comparación que no ha sido beneficiado por el programa. Sin embargo, el 
uso actual de las evaluaciones de impacto se está ampliando. El equipo de 
evaluación puede inquirir: ¿la pregunta de evaluación clave es la pregunta 
“clásica” acerca de la efectividad de un programa para cambiar los resulta- 
dos finales? ¿O se trata de probar si una modalidad de programa es más 
costo-efectiva que otra o bien de introducir una innovación en el diseño 
del programa que, de manera previsible, cambiará las conductas, como 
la matriculación? En la actualidad la evaluación de impacto está 
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incorporando nuevos enfoques, de manera creativa, para abordar las cues- 
tiones de interés para el diseño de políticas, en una vasta gama de discipli- 
nas (véase el recuadro 2.2). 

En una evaluación de impacto, la pregunta de la evaluación debe ser 
formulada como una hipótesis bien definida y comprobable, que pueda cuanti- 
ficar la diferencia entre los resultados obtenidos al contrastar los grupos de 
tratamiento y comparación. La cadena de resultados puede usarse como base 
para formular la hipótesis que se busca probar a partir de la evaluación de 
impacto. Como se señala en el recuadro 2.3, a menudo hay unas cuantas hipó- 
tesis asociadas con el programa, pero no es necesario explorar todas en una 
evaluación de impacto, y tampoco es posible hacerlo. En el ejemplo del pro- 
grama de estudio de matemáticas que reseña el recuadro 2.2, la pregunta de la 
evaluación deriva de elementos fundamentales de la teoría del cambio y se 
formula como una hipótesis clara, comprobable y cuantificable: ¿cuál es el 


Recuadro 2.2: Experimentos de mecanismo 


Un experimento de mecanismo es una eva- 
luación de impacto que prueba un meca- 
nismo causal específico dentro de la teoría 
del cambio. Por ejemplo: se ha identificado 
un problema y se ha hallado un posible pro- 
grama para remediarlo. Es preciso diseñar 
una evaluación a fin de probar la efectividad 
del programa. ¿La evaluación debería probar 
directamente el impacto del programa? Una 
corriente de pensamiento actual sostiene 
que una evaluación de programa de ese tipo 
quizá no sea siempre la mejor manera de 
comenzar y que, en algunos casos, puede 
ser preferible no llevar a cabo una evaluación 
de programa sino más bien poner a prueba 
algunos de los supuestos o mecanismos 
subyacentes. Los experimentos de meca- 
nismo no prueban un programa; lo que prue- 
ban es un mecanismo causal que subyace a 
la elección de un programa. 
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Por ejemplo, un equipo de trabajo busca 
establecer si las personas que viven en 
barrios pobres de una ciudad tienen tasas de 
obesidad más altas que las personas que 
viven en sectores más acomodados de la 
misma ciudad. Después de realizar una 
investigación, el equipo observa que los 
barrios pobres cuentan con menos tiendas y 
puestos de frutas y verduras frescas y otros 
alimentos nutritivos y estima que esta falta 
de oferta puede estar contribuyendo a la 
obesidad, y que la situación se podría reme- 
diar mediante la entrega de subsidios a los 
fruteros a fin de que operen más puntos de 
venta. Una simple cadena de resultados 
podría tener el aspecto que se presenta en 
el gráfico B2.2.1. 

Una evaluación del programa se centraría 
en probar el impacto de los subsidios a las 
fruterías en un conjunto de barrios pobres. 


Continúa en la página siguiente. 
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Recuadro 2.2: Experimentos de mecanismo (continúa) 


Gráfico B2.2.1 
resultados más larga 


Identificación de un experimento de mecanismo en una cadena de 


INSUMOS => ACTIVIDADES =» PRODUCTOS => RESULTADOS => ES 


+ Subsidios a los 
vendedores de 
frutas y verduras 


+ Fondos 


verdura 


+ Aumento del numero 
de tiendas/puestos 
que venden fruta y 


* Los residentes de 
barrios pobres 
consumen más 
alimentos nutritivos 


+ Menor prevalencia 
de la obesidad 
entre residentes 
de barrios pobres 


* Mayor disponibilidad 
de alimentos nutritivos 
en barrios pobres 


Implementación (LADO DE LA OFERTA) 


Resultados (LADO DE LA DEMANDA + 
LADO DE LA OFERTA) 


Fuente: Elaboración propia, sobre la base de múltiples fuentes. 


En cambio, un experimento de mecanismo se 
enfocaría en evidenciar de manera más directa 
los supuestos subyacentes. Por ejemplo, 
puede poner a prueba el siguiente supuesto: si 
los habitantes de los barrios pobres tienen más 
acceso a alimentos nutritivos, comerán más 
de estos alimentos. Una forma de demostrarlo 
podría ser distribuir una canasta de frutas y 
verduras gratis una vez a la semana a un grupo 
de habitantes y comparar su consumo de 
frutas y verduras con el de los residentes que 
no reciben la canasta gratis. Sino se encuentran 
diferencias en el consumo de frutas y 
verduras en este experimento de mecanismo 
es probable que tampoco los subsidios a las 
fruterías tengan un impacto significativo debido 
a que uno de los mecanismos causales 
subyacentes no está funcionando. 


Fuente: Ludwig, Kling y Mullainathan (2011). 


En general, un experimento de mecanismo 
debería ser mucho más barato de implemen- 
tar que una evaluación de programa completa, 
porque se puede llevar a cabo en una escala 
más pequeña. En el ejemplo anterior de la 
obesidad, proporcionar subsidios a los fruteros 
en numerosos barrios y supervisar a un gran 
número de residentes en esos barrios sería 
bastante caro, mientras que la entrega de la 
cesta con productos gratis resultaría mucho 
menos costosa y sería suficiente para contar 
con la participación de varios cientos de fami- 
lias. Si el experimento de mecanismo demues- 
tra que el mecanismo funciona, todavía habría 
que realizar un experimento de las políticas 
para evaluar si los subsidios son una manera 
efectiva de proveer frutas y verduras a los 
habitantes de los barrios pobres. 


efecto del nuevo programa de matemáticas en las puntuaciones de las prue- 
bas? En el ejemplo que se analiza a lo largo del libro, el Programa de Subsidios 
de Seguros de Salud, la pregunta de la evaluación es: ¿cuál es el efecto del 
Programa de Subsidios de Seguros de Salud en los gastos directos en salud de 
los hogares pobres? 
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Recuadro 2.3: Una reforma de las matemáticas en la enseñanza 
secundaria: elaboración de una cadena de resultados y una 


pregunta de la evaluación 


El ministerio de Educación de un país X está 
pensando en introducir un nuevo programa de 
estudio de matemáticas en la enseñanza 
secundaria. La currícula ha sido diseñada para 
que resulte ser más accesible a los profesores 
y alos alumnos, a fin de mejorar el desempeño 
de los estudiantes en pruebas estandarizadas 
de matemáticas y, eventualmente, optimizar 
su Capacidad para completar la escuela 
secundaria y tener acceso a mejores empleos. 
Esta cadena de resultados esboza la teoría 
del cambio del programa. 


e Los insumos comprenden el personal del 
ministerio de Educación para liderar la 
reforma, los profesores de matemáticas 
de las escuelas secundarias, un presu- 
puesto para desarrollar el nuevo programa 
de estudio, y las instalaciones municipales 


donde se impartirá la formación de los pro- 
fesores de matemáticas. 


Las actividades del programa consisten 
en diseñar la nueva currícula de estudio de 
matemáticas, desarrollar un programa de 
capacitación de los profesores, capacitar a 
los profesores, y encargar la impresión y la 
distribución de los nuevos libros de texto. 


Los productos son el número de profeso- 
res que recibieron capacitación, el número 
de libros de texto entregados en las aulas 
y la adaptación de pruebas estandarizadas 
al nuevo programa de estudio. 


Los resultados en el corto plazo son la 
aplicación por parte de los profesores de 
los nuevos métodos, el uso de los libros 
de texto en las aulas y la administración 
de las nuevas pruebas. 


Gráfico B2.3.1 Cadena de resultados para la reforma de la currícula de matemática 


en la escuela secundaria 


INSUMOS = ACTIVIDADES => PRODUCTOS = RESULTADOS = ES 


* Diseño del nuevo 
programa de 


* Presupuesto para 
el nuevo programa 


de matemáticas. estudios. 
* Dotación de * Capacitación de 
personal del profesores. 


ministerio de 
Educación y de 
profesores de 
secundaria. 

+ Instalaciones 
municipales de 
capacitación. 


* Edición, impresión, 
distribución de 
nuevos libros 
de texto. 


+ 5.000 profesores 
de matemáticas 
de secundaria 
capacitados. 

* 100.000 libros de 
texto entregados 
en las clases. 


Implementación (LADO DE LA OFERTA) 


Fuente: Elaboración propia, sobre la base de múltiples fuentes. 
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* Los profesores usan 


* Mejora de las tasas 
de finalización. 

+ Aumento de los 
ingresos. 

* Aumento del empleo. 


los libros de texto 

y el nuevo programa 
de estudios en 

la clase. 


* Los estudiantes 


siguen el programa 
de estudios. 


* Mejora del 


desempeño de los 
estudiantes en los 
exámenes de 
matemáticas. 


Resultados (LADO DE LA DEMANDA + 
LADO DE LA OFERTA) 


Continúa en la página siguiente. 
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Recuadro 2.3: Una reforma de las matemáticas en la enseñanza secundaria: elaboración de una cadena 


de resultados y una pregunta de la evaluación (continúa) 


Los resultados en el mediano plazo son 
las mejoras en el desempeño de los 
alumnos en las pruebas estandarizadas 


Si la implementación se lleva a cabo 
como estaba previsto, los resultados de 
las pruebas de matemáticas mejorarán 


de matemáticas. en un promedio de 5 puntos. 


e Los resultados finales son el aumento enlas e 
tasas de finalización de los estudios secun- 
darios y en las tasas de empleo, y el incre- 
mento en los ingresos de los graduados. 


El desempeño en las matemáticas en la 
secundaria influye en las tasas de finali- 
zación de la enseñanza secundaria, en las 
perspectivas de empleo y en el nivel de 
Diversas hipótesis sustentan la teoría del los ingresos. 


cambie: La pregunta más importante de la evalua- 


ción, que ha sido desarrollada por el equipo 
de responsables de las políticas del Ministe- 
rio de Educación y los investigadores que 
participaron para determinar la efectividad 
del programa, es: ¿cuál es el efecto del 
nuevo programa de estudio de matemáticas 
en las puntuaciones de las pruebas? Esta 
pregunta apunta al corazón del interés de las 
políticas en cuanto a la efectividad del nuevo 
programa de estudios. 


e Los profesores que recibieron formación 
utilizan el nuevo programa de estudio de 
manera efectiva. 


e Silos profesores reciben capacitación y 
se distribuyen los libros de texto, estos 
se emplearán y los alumnos seguirán el 
programa de estudio. 


e El nuevo programa es superior al antiguo 
en la manera de impartir los conocimien- 
tos de matemáticas. 


CJ , El Programa de Subsidios de Seguros de Salud: una 
C introducción 


El Programa de Subsidios de Seguros de Salud (HISP, por sus siglas en 
inglés, Health Insurance Subsidy Program) es un caso ficticio de un 
gobierno que emprende una reforma en gran escala dels sector de la salud. 
Las preguntas relacionadas con este caso se utilizarán en todo el libro. 
El sitio web de Evaluación de Impacto en la Práctica (http://www 
worldbank.org/ieinpractice) contiene soluciones para las preguntas del 
estudio de caso del HISP, una base de datos y el código de análisis en 
Stata™, así como un manual técnico en linea que proporciona un trata- 
miento más formal del análisis de datos. 

El objetivo final del HISP es mejorar la salud de la población del país. 
El innovador -y potencialmente caro- HISP se encuentra en etapa de 
pruebas. El gobierno está preocupado porque los hogares rurales pobres 
no pueden permitirse los costos de una atención sanitaria básica, lo cual 
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tiene consecuencias perjudiciales para su salud. A fin de abordar este 
problema, el HISP subsidia seguros de salud para los hogares rurales 
pobres, y cubre los costos relacionados con la atención primaria y los 
medicamentos. El propósito central del HISP consiste en reducir el costo 
de la atención sanitaria de las familias pobres y, eventualmente, mejorar 
los resultados de salud. Los responsables de las políticas están pensando 
en ampliar el HISP para cubrir al conjunto del país, lo cual costaría cien- 
tos de millones de dólares. 

La cadena de resultados del HISP se ilustra en el gráfico 2.2. Las hipó- 
tesis relacionadas con la reforma del HISP son: i) los hogares se inscribi- 
rán en el programa una vez que se les ofrezca, ii) la inscripción en el 
programa disminuirá los gastos directos de los hogares en salud, iii) los 
costos impiden a la población rural tener acceso a la atención sanitaria 
y a los medicamentos disponibles, y iv) los gastos directos en los costos 
vinculados con la salud son un factor fundamental que contribuye a la 
pobreza y a los malos resultados de salud. 

La pregunta clave de la evaluación es: ¿cuál es el impacto del Programa 
de Subsidios de Seguros de Salud en los gastos directos de los hogares en 
atención sanitaria? Tanto en el libro como en el material en línea, esta 
pregunta de la evaluación con relación al HISP será respondida varias 
veces, a partir de diferentes enfoques metodológicos. En ese marco, sur- 
girán respuestas distintas -y a veces opuestas-, de acuerdo con la meto- 
dología de evaluación utilizada. 


Gráfico 2.2 La cadena de resultados del HISP 


INSUMOS => ACTIVIDADES => PRODUCTOS =p RESULTADOS => Be are a 


+ Presupuesto para | Diseño de los + Equipamientos de + Número y porcentaje * Mejora en los 
el plan piloto HISP. | beneficios y el salud en 100 de hogares elegibles resultados de 
* Red de funcionamiento del comunidades rurales | inscritos el primer año. | salud. 
equipamientos HISP. piloto que participan | * Menor gasto en salud 
de salud. * Formación de del programa. de los hogares rurales 
+ Personal en personal en clínicas | e Campaña para llegar | pobres. 
oficinas de salud rurales de a 4.959 hogares * Mejora del acceso a 
del gobierno comunidades piloto. elegibles en las atención primaria. 
central y local. > Establecimiento de comunidades piloto. | + Satisfacción con el 
sistemas de pagos y programa HISP. 
de información sobre 
gestión. 


+ Lanzamiento del HISP 
en 100 comunidades 
rurales piloto. 

* Campaña informativa 
y educativa. 


Resultados (LADO DE LA DEMANDA + 


Implementación (LADO DE LA OFERTA) LADO DE LA OFERTA) 
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La selección de indicadores de resultados y 
desempeño 


Una pregunta clara de la evaluación debe ir acompañada de la especifica- 
ción acerca de qué medidas de resultado se utilizarán para evaluar el desem- 
peño, incluso en el caso de múltiples resultados. Las medidas de resultado 
seleccionadas se usarán para establecer si un programa o una reforma deter- 
minados tienen éxito o no. También son los indicadores que se pueden 
emplear como referencia al realizar los cálculos de la potencia con el fin de 
fijar los tamaños de la muestra necesarios para la evaluación, como se verá 
en el capítulo 15. 

Luego de seleccionar los principales indicadores de interés, es preciso 
definir objetivos claros en lo relativo al éxito del programa. Este paso equi- 
vale a determinar el efecto anticipado del programa sobre los principales 
indicadores de resultado que se han seleccionado. Los tamaños del efecto 
son los cambios previstos como resultado del programa o de la reforma; por 
ejemplo, el cambio en las puntuaciones de las pruebas o en la tasa de adop- 
ción de un nuevo tipo de póliza de seguro. Los tamaños del efecto previstos 
son la base para llevar a cabo cálculos de la potencia (que se abordan con 
más detalles técnicos en el capítulo 15). 

Es fundamental que los principales agentes interesados en el equipo de 
evaluación (tanto el equipo de investigación como el equipo de políticas 
públicas) estén de acuerdo tanto en los indicadores primarios de resulta- 
dos de interés en la evaluación de impacto, como en los tamaños esperados 
de los efectos previstos como resultado del programa o de la innovación 
(para más detalles sobre el equipo de evaluación, véase el capítulo 12), ya 
que se usarán para juzgar el éxito del programa y formar la base de los cál- 
culos de la potencia. Numerosas evaluaciones de impacto fracasan porque 
los tamaños de muestra no son lo bastante grandes para detectar los cam- 
bios generados por el programa: tienen un “déficit de potencia”. En ese 
sentido, es sustancial definir los tamaños mínimos previstos del efecto para 
establecer criterios básicos del éxito del programa o de la innovación. 
Cuando hay datos disponibles, es posible realizar simulaciones ex ante 
para observar diferentes escenarios de resultados con el fin de establecer 
una referencia del tipo de tamaños del efecto que se pueden esperar en una 
gama de indicadores. Las simulaciones ex ante también se pueden utilizar 
para revisar indicadores iniciales de costo-beneficio o costo-efectividad y 
comparar intervenciones alternativas para provocar cambios en los resul- 
tados de interés. 

Una cadena de resultados articulada con claridad proporciona un mapa 
útil para seleccionar los indicadores que se medirán a lo largo de la cadena, 
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a fin de monitorear la implementación del programa y evaluar los resulta- 
dos. Como se ha dicho, es útil contar con la participación de agentes 
interesados del programa, tanto de los equipos de políticas como de los de 
investigación, para seleccionar estos indicadores y asegurar que son buenas 
medidas del desempeño del programa. La regla general indica que los crite- 
rios para asegurar que los indicadores utilizados son buenas medidas se 
resumen en el acrónimo EMARF. Los indicadores deberían ser: 


e Específicos: para medir la información requerida de la forma más rigu- 
rosa posible. 


e Medibles: para garantizar que la información se puede obtener 
fácilmente. 


e Atribuibles: para asegurar que cada medida está relacionada con los 
logros del proyecto. 


e Realistas: para garantizar que los datos se pueden obtener de manera 
oportuna, con una frecuencia y un costo razonables. 


e Focalizados: en la población objetivo. 


Al elegir los indicadores, es importante identificarlos a lo largo de toda la 
cadena de resultados, y no solo en el nivel de los resultados, de modo que 
puedan seguir la lógica causal de cualquier resultado observado del pro- 
grama. En las evaluaciones de implementación que se centran en probar dos 
o más alternativas de diseño, los resultados de interés pueden producirse 
antes en la cadena de resultados, como un resultado adelantado o como 
resultado de una fase temprana. Aun cuando el interés solo esté puesto en 
las medidas de resultados para la evaluación, es sustancial realizar un segui- 
miento de los indicadores de implementación, de tal manera que se pueda 
determinar si las intervenciones se han llevado a cabo como estaban proyec- 
tadas, si han sido recibidas por los beneficiarios previstos y si han llegado a 
tiempo. Si no se identifican estos indicadores en toda la cadena de resulta- 
dos se corre el riesgo de que la evaluación de impacto sea como una “caja 
negra” que podrá determinar si los resultados previstos se materializaron o 
no, pero no será capaz de explicar por qué. 


Lista de verificación: datos para los indicadores 
Como lista de verificación final, una vez que se han seleccionado los indica- 
dores es útil pensar en las disposiciones para producir los datos con el fin de 


medir los indicadores. En el capítulo 4 se presenta un debate exhaustivo 
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Los buenos 
indicadores son 
EMARF (específicos, 


medibles, atribuibles, 


realistas y 
focalizados). 
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sobre dónde conseguir los datos para la evaluación. Esta lista de verificación 
(adaptada de PNUD, 2009) abarca las disposiciones prácticas necesarias 
para asegurar que es posible producirtodos los indicadores de manera fiable 
y oportuna: 


Y” ¿Se han especificado con claridad los indicadores (productos y resulta- 
dos)? Estos provienen de las preguntas clave de la evaluación y deberían 
ser consistentes con los documentos de diseño del programa y con la 
cadena de resultados. 


Y” ¿Los indicadores son EMARF? Específicos, medibles, atribuibles, realis- 
tas y focalizados. 


v ¿Cuáles la fuente de los datos de cada indicador? Es necesario definir con 
claridad la fuente de los datos, como una encuesta, un estudio o una reu- 
nión de las partes interesadas. 


v ¿Con qué frecuencia se recopilarán los datos? Es preciso incluir un 
calendario. 


Y” ¿Quién es el responsable de recopilar los datos? Se debe especificar quién 
es responsable de organizar la recopilación de datos, verificar la calidad y 
la fuente de los datos y asegurar el cumplimiento de las normas éticas. 


Y” ¿Quién es responsable del análisis y de los informes? Hay que fijar la fre- 
cuencia de los análisis, el método de análisis y el responsable de los 
informes. 


Y” ¿Qué recursos se necesitan para producir los datos? Es fundamental que 
los recursos requeridos sean claros y que estén destinados a producir los 
datos, que a menudo es la parte más cara de una evaluación si se recopi- 
lan datos primarios. 


Y” ¿La documentación es adecuada? Es útil diseñar planes para documentar 
los datos, incluir la utilización de un registro y asegurar el anonimato. 


Y” ¿Qué riesgos implica? Al realizar el monitoreo planificado y las activida- 
des de evaluación es preciso considerar los riesgos y los supuestos, asi 
como la manera en que pueden influir en la puntualidad y la calidad de 
los datos y de los indicadores. 


Recursos adicionales 


e Para obtener material complementario de este capítulo y para conseguir 
hipervínculos a recursos adicionales se recomienda consultar el sitio de la 
Evaluación de Impacto en la Práctica (http://wwwworldbank.org/ieinpractice). 
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e El Módulo 1 del World Bank's Impact Evaluation Toolkit (http://www 
worldbank.org/health/impactevaluationtoolkit) ofrece un gráfico de la 
teoría del cambio, una plantilla de cadena de resultados y ejemplos de 
indicadores para financiamiento basado en resultados. 
e L. Morra Imas y R. Rist (2009) brindan un buen estudio de las teorías del 
cambio en “The Road to Results: Designing and Conducting Effective 
Development Evaluations.” Washington, D.C.: Banco Mundial. 
e Para un debate sobre cómo seleccionar los indicadores de desempeño, véanse: 
> L. Morra Imas y R. Rist (2009), “The Road to Results: Designing and 
Conducting Effective Development Evaluations.” Washington, D.C.: 
Banco Mundial. 

> J. Kusek y R. Rist (2004), “Ten Steps to a Results-Based Monitoring and 
Evaluation System.” Washington, D.C.: Banco Mundial. 
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Segunda parte 


CÓMO EVALUAR 


La segunda parte de este libro explica cómo funcionan las evaluaciones de 
impacto, a qué preguntas responden, qué métodos están disponibles para lle- 
varlas a cabo y cuáles son las ventajas y las desventajas de cada uno de ellos. 
El enfoque de la evaluación de impacto propuesto en este libro aboga por la 
selección del método más riguroso que sea compatible con las característi- 
cas operativas de un programa. El menú de opciones para una evaluación de 
impacto incluye la asignación aleatoria, las variables instrumentales, el diseño 
de regresión discontinua, las diferencias en diferencias y el pareamiento. Todos 
estos métodos comparten el objetivo común de construir grupos de compara- 
ción válidos que permitan estimar los verdaderos impactos de un programa. 


El capítulo 3 introduce el concepto del contrafactual como piedra angular de la 
evaluación de impacto mediante una explicación de las propiedades que debe 
tener la estimación del contrafactual y ejemplos de estimaciones inválidas o 
falsas del contrafactual. Del capítulo 4 al 8 se aborda cada una de las metodo- 
logías para una evaluación de impacto: el capítulo 4 trata la asignación aleato- 
ria; el 5, las variables instrumentales; el 6, el diseño de regresión discontinua; 


el 7 las diferencias en diferencias, y el 8, el pareamiento. En estos capítulos se 
analiza cómo y por qué cada método puede producir una estimación válida del 
contrafactual, en qué contexto de las políticas públicas es posible implementar 
los y cuáles son las principales limitaciones de cada uno. Asimismo, se ilustra 
el uso de los diferentes métodos con ejemplos específicos del mundo real de 
las evaluaciones de impacto que los han utilizado y con el estudio de caso del 
Programa de Subsidios de Seguros de Salud (HISP por sus siglas en inglés, 
Health Insurance Subsidy Program) que se presentó en el capítulo 2. El capí- 
tulo 9 avanza sobre cómo abordar los problemas que pueden surgir durante la 
implementación, y reconoce que las evaluaciones de impacto no suelen ejecu- 
tarse siguiendo el diseño de un modo exacto. En este contexto, se consideran 
las dificultades habituales, entre ellas el cumplimiento imperfecto, los efectos 
secundarios y el desgaste de la muestra, y se ofrece orientación acerca de 
cómo afrontar estos problemas. El capítulo 10 concluye esta segunda parte del 
libro con una guía de las evaluaciones de programas multifacéticos, en especial 
aquellos con distintos niveles de tratamiento y múltiples brazos de tratamiento. 


A lo largo de la segunda parte, el libro brinda la oportunidad de aplicar métodos 
y poner a prueba la comprensión a partir del estudio de caso del HISP Como se 
recordará, la pregunta clave de la evaluación para los responsables de la polí- 
tica del HISP es: ¿qué impacto tiene este programa en los gastos directos en 
atención sanitaria de los hogares pobres? Se utilizará la base de datos del HISP 
para ilustrar cada método de evaluación e intentar responder esta pregunta. 
Siendo que ya se han reunido adecuadamente los datos, de modo que se han 
eliminado todos los problemas relacionados con estos datos, el libro proporcio- 
nará los resultados del análisis, que deberán ser interpretados. En ese sentido, 
la tarea del lector será determinar por qué la estimación del impacto del HISP 
cambia con cada método y decidir qué resultados son más fiables para justifi- 
car una decisión a favor o en contra de la ampliación del HISP Las soluciones 
a las preguntas se hallan en el sitio web de evaluación de impacto en la prác- 
tica (www.worldbank.org/ieinpractice), donde, además, se encuentra la base 
de datos, el código de análisis en el software Stata™ y un manual técnico que 
proporciona un tratamiento más formal de los datos. 


La parte 3 comienza indicando cómo usar las reglas de operación del programa, 
esto es: los recursos disponibles de un programa, los criterios para la selección 
de beneficiarios, y el plazo de implementación, como base para seleccionar 
un método de evaluación de impacto. Allí se presenta un marco sencillo para 
determinar cuál de las metodologías de evaluación de impacto expuestas en la 
parte 2 es más conveniente para un determinado programa, en función de sus 
normas operativas. 


CAPÍTULO 3 


Inferencia causal y 
contrafactuales 


Inferencia causal 


En las evaluaciones de impacto precisas y fiables existen dos conceptos 
esenciales: la inferencia causal y los contrafactuales. 

Muchas preguntas de política económica tienen que ver con relaciones 
de causa y efecto: ¿la formación de los profesores mejora las puntuaciones 
de los alumnos en las pruebas? ¿Los programas de transferencias condicio- 
nadas consiguen mejores resultados en la salud de los niños? ¿Los progra- 
mas de formación profesional aumentan los ingresos de quienes los han 
cursado? 

Las evaluaciones de impacto pretenden responder estas preguntas de 
causa y efecto con precisión. Evaluar el impacto de un programa en un con- 
junto de resultados equivale a evaluar el efecto causal del programa en esos 
resultados. 

A pesar de que las preguntas de causa y efecto son habituales, contestar- 
las no es un asunto sencillo, En el contexto de un programa de formación 
profesional, por ejemplo, la sola observación de que los ingresos de una per- 
sona que ha recibido formación aumentan después de que ha completado 
ese programa no basta para establecer la causalidad. Tal vez los ingresos de 
esa persona se habrían incrementado aunque no hubiera sido objeto de la 
formación, sino como consecuencia de sus esfuerzos, de las condiciones 


Concepto clave 


Las evaluaciones de 
impacto establecen 
hasta qué punto un 
programa —y solo ese 
programa- provocó un 
cambio en un 
resultado. 
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cambiantes del mercado laboral o de muchos otros factores que influyen en 
los ingresos. Las evaluaciones de impacto ayudan a superar el problema de 
atribuir causalidad pues determinan, empíricamente, en qué medida un 
programa concreto -y solo ese programa- contribuye a cambiar un resul- 
tado. Para establecer causalidad entre un programa y un resultado se 
emplean métodos de evaluación de impacto a fin de descartar la posibilidad 
de que cualquier factor distinto del programa de interés explique el impacto 
observado. 

La respuesta a la pregunta básica de la evaluación de impacto -cuál es el 
impacto o efecto causal de un programa (P) en un resultado de interés (Y)- 
se obtiene mediante la fórmula básica de la evaluación de impacto: 


A=(Y|P=D-(Y|P=0) 


Según esta fórmula, el impacto causal (A) de un programa (P) en un resul- 
tado (Y) es la diferencia entre el resultado (Y) con el programa (es decir, 
cuando P = 1) y el mismo resultado (Y) sin el programa (cuando P = 0). 

Por ejemplo, si P representa un programa de formación profesional e Y 
simboliza los ingresos, el impacto causal de un programa de formación pro- 
fesional (A) es la diferencia entre los ingresos de una persona (Y) después 
de participar en el programa de formación profesional (es decir, cuando 
P = 1) y los ingresos de la misma persona (Y) en el mismo momento en el 
tiempo, si no hubiera participado en el programa (cuando P = 0). Dicho de 
otro modo, se trata de medir el ingreso en el mismo momento en el tiempo 
para la misma unidad de observación (en este caso, una persona) pero en 
dos realidades diferentes. Si esto fuera posible, se observaría cuál sería el 
ingreso de ese mismo individuo en el mismo momento en el tiempo tanto 
con el programa como sin él, de modo que la única explicación posible de 
cualquier diferencia en los ingresos de esa persona sería el programa. 
Al comparar al mismo individuo consigo mismo en el mismo momento se 
conseguiría eliminar cualquier factor externo que también pudiera expli- 
car la diferencia de los ingresos. En ese caso, sería posible confiar en que la 
relación entre el programa de formación profesional y el cambio en los 
ingresos es causal. 

La fórmula básica de la evaluación de impacto es válida para cualquier 
unidad analizada, ya sea una persona, un hogar, una comunidad, una 
empresa, un colegio, un hospital u otra unidad de observación que pueda 
beneficiarse del programa o verse afectada por él. La fórmula también es 
válida para cualquier resultado (Y) relacionado con el programa en cuestión. 
Una vez que se han medido los dos componentes clave de esta fórmula —el 
resultado (Y) con el programa y sin él-, es posible responder cualquier pre- 
gunta acerca del impacto del programa. 
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El contrafactual 


Como ya se señaló, es posible pensar en el impacto (A) de un programa como 
la diferencia en los resultados (Y) para la misma unidad (persona, hogar, 
comunidad, etc.) cuando ha participado en el programa y cuando no lo ha 
hecho. Sin embargo, es imposible medir al mismo sujeto en dos realidades 
diferentes al mismo tiempo. En cualquier momento del tiempo, un sujeto 
habrá participado en el programa o no lo habrá hecho. No se lo puede obser- 
var simultáneamente en dos realidades distintas (es decir, con el programa 
y sin él). Esto se denomina problema contrafactual: ¿cómo medir lo que 
habría ocurrido si hubieran prevalecido las otras circunstancias? Aunque se 
puede observar y medir el resultado (Y) para un participante del programa 
(Y | P = 1), no hay datos para establecer cuál habría sido su resultado en 
ausencia del programa (Y | P = 0). En la fórmula básica de la evaluación de 
impacto, el término (Y | P = 0) representa el contrafactual, lo cual se puede 
expresar como ¿cuál habría sido el resultado si una persona no hubiera par- 
ticipado en el programa? 

Por ejemplo, si el “señor Desafortunado” toma una píldora y muere cinco 
días después, el solo hecho de que el señor Desafortunado haya muerto des- 
pués de tomar la píldora no permite concluir que la píldora haya sido la 
causa de su muerte. Quizá él estaba muy enfermo cuando tomó la pildora y 
fue la enfermedad la que provocó su muerte en lugar de la píldora. Para infe- 
rir la causalidad habrá que descartar todos los demás factores potenciales 
capaces de haber influido en el resultado en cuestión. En este sencillo ejem- 
plo, para saber si la pildora causó la muerte del señor Desafortunado, un eva- 
luador tendría que establecer qué le habría ocurrido al señor Desafortunado 
si no hubiera tomado la pildora. Como el señor Desafortunado tomó la pil- 
dora, no es posible observar de forma directa qué habría ocurrido si no lo 
hubiera hecho. Lo que le habría ocurrido si no hubiera tomado la pildora es 
el contrafactual. Para definir el impacto de la píldora, el principal reto del 
evaluador consiste en determinar qué aspecto tiene el estado contrafactual 
de la realidad para el señor Desafortunado (véase el recuadro 3.1). 

Cuando se lleva a cabo una evaluación de impacto, es relativamente fácil 
obtener el primer término de la fórmula básica (Y | P = 1) -el resultado con 
un programa, también conocido como el resultado bajo tratamiento-, ya que 
basta con medir el resultado de interés para el participante del programa. 
Sin embargo, no es posible observar de forma directa el segundo término de 
la fórmula (Y | P = 0) para el participante. Es preciso obtener esta informa- 
ción estimando el contrafactual. 

Para entender este concepto clave de estimación del contrafactual es útil 
recurrir a otro caso hipotético. La solución del problema contrafactual sería 
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El contrafactual es lo 


que habría ocurrido 
—cuál habría sido el 


resultado (Y) para un 


participante del 


programa- en ausencia 
del programa (P). 
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Como no es posible 


observar directamente 


el contrafactual, es 
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Recuadro 3.1: El problema del contrafactual: la “señorita Única” y 
el programa de transferencias condicionadas 


La “señorita Única” es una recién nacida 
cuya madre percibe una asignación moneta- 
ria mensual siempre que la niña sea some- 
ida a chequeos regulares en el centro de 
salud local, reciba las vacunas y se chequee 
su crecimiento. Según el gobierno, la trans- 
erencia condicionada motivará a la madre 
de la señorita Única a acudir a los servicios 
de salud que requiere el programa y contri- 
buirá al crecimiento normal y saludable de la 
niña. Para realizar una evaluación de impacto 
de la transferencia condicionada, el gobierno 
elige la altura como indicador de resultados 
de la salud en el largo plazo. 

Idealmente, para evaluar el impacto del 
programa, habría que medir la altura de la 
señorita Única a los 3 años, cuando su 
madre recibió la transferencia condicionada 
y también cuando su madre no recibió dicha 
transferencia. Luego habría que comparar 
las dos alturas para establecer el impacto. Si 
fuera posible comparar la altura de la seño- 
rita Única a los 3 años bajo el programa con 
la altura de la señorita Única a los 3 años sin 
el programa se sabría que cualquier diferen- 
cia en la altura habría sido efecto solo del 
programa de transferencias condicionadas. 
Como todo lo demás relativo a la señorita 
Única sería igual, no habría otras caracterís- 
ticas que explicaran la diferencia de altura. 

Sin embargo, es imposible observar a la 
señorita Única con el programa de transferencias 


condicionadas y sin él: su familia cumple los 
requisitos (chequeos, vacunación, seguimiento 
del crecimiento) y recibe la transferencia condi- 
cionada o no lo hace. En otras palabras, no hay 
forma de observar cuál es el contrafactual. Como 
la madre de la señorita Única cumplió los requisi- 
tos y recibió la transferencia condicionada, no es 
factible saber qué altura tendría la señorita Única 
si su madre no hubiera recibido la transferencia 
condicionada. 

Será difícil encontrar una comparación 
adecuada para la señorita Única porque, 
como su nombre indica, es única. Sus ante- 
cedentes socioeconómicos, sus atributos 
genéticos y sus características personales y 
del hogar no pueden ser hallados en nin- 
guna otra persona. Si se compara la seño- 
rita Única con alguien que no participó en el 
programa -por ejemplo, el señor Inimitable-, 
la comparación tal vez resulte inadecuada: 
la señorita Única puede ser exactamente 
idéntica al señor Inimitable. Quizá la seño- 
rita Única y el señor Inimitable no tienen e 
mismo aspecto, no viven en el mismo lugar, 
no tienen los mismos padres y no midieron 
lo mismo cuando nacieron. Por lo tanto, si 
se observa que el señor Inimitable es más 
bajo que la señorita Única a los 3 años no 
será posible saber si la diferencia se debe a 
programa de transferencias condicionadas 
o a alguna de las muchas otras diferencias 
entre los dos niños. 


posible si el evaluador pudiera encontrar un “clon perfecto” de un partici- 
pante en el programa (véase el gráfico 3.1). Por ejemplo, si el señor Fulanito 
comienza a recibir US$12 como dinero de bolsillo y lo que se busca es medir 
el impacto de este tratamiento en su consumo de caramelos, la existencia de 
un clon perfecto del señor Fulanito haría la evaluación muy fácil, pues se 
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Gráfico 3.1 El clon perfecto 


Beneficiario/a Clon 


6 caramelos 4 caramelos 


Impacto = 6 — 4 = 2 caramelos 


podria comparar el nimero de caramelos que come el sefior Fulanito 
(por ejemplo, seis) cuando recibe el dinero, con el numero de caramelos 
(por ejemplo, cuatro) que come su clon, que no recibe dinero. En este caso, 
el impacto del dinero de bolsillo seria de dos caramelos, es decir, la diferen- 
cia entre el número de caramelos consumidos bajo tratamiento (seis) y el 
número de caramelos consumidos sin tratamiento (cuatro). En realidad, 
está claro que es imposible hallar clones perfectos, y que incluso entre 
gemelos genéticamente idénticos hay diferencias importantes. 


La estimación del contrafactual 


La clave para estimar el contrafactual para los participantes del programa 
consiste en desplazarse del nivel individual o de la persona al nivel del 
grupo. A pesar de que no existe un clon perfecto de una persona única, es 
posible contar con propiedades estadísticas para generar dos grupos de 
personas que, si su número es lo bastante alto, sean indistinguibles una de 
otra desde el punto de vista estadístico en el nivel del grupo. El grupo que 
participa en el programa se denomina grupo de tratamiento, y su resultado 
es (Y | P=1) después de que ha participado en el programa. El grupo de com- 
paración estadísticamente idéntico (a veces llamado “grupo de control”) es 
el grupo que no es objeto del programa y permite estimar el resultado con- 
trafactual (Y | P= 0): es decir, el resultado que se habría obtenido en el grupo 
de tratamiento si no hubiera recibido el programa. 
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Concepto clave 
Sin un grupo de 
comparación que 
produzca una 
estimación precisa del 
contrafactual, no se 
puede establecer el 
verdadero impacto de 
un programa. 


Concepto clave 


Un grupo de compara- 
ción válido (1) tiene las 
mismas características, 
en promedio, que el 
grupo de tratamiento en 
ausencia del programa; 
(2) no es afectado por el 
programa; y (3) 
reaccionaría al 
programa de la misma 
manera que el grupo de 
tratamiento, si fuera 
objeto del programa. 
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Por lo tanto, en la práctica el reto de una evaluación de impacto es definir 
un grupo de tratamiento y un grupo de comparación que sean estadística- 
mente idénticos, en promedio, en ausencia del programa. Si los dos grupos 
son idénticos (estadísticamente), con la única excepción de que un grupo 
participa en el programa y el otro no, es posible estar seguros de que cual- 
quier diferencia en los resultados tendría que deberse al programa. 
Encontrar esos grupos de comparación es la piedra angular de cualquier 
evaluación de impacto, al margen del tipo de programa que se evalúe. En 
pocas palabras, sin un grupo de comparación que produzca una estimación 
precisa del contrafactual, no se puede establecer el verdadero impacto de un 
programa. 

En ese sentido, el principal desafío para identificar los impactos es crear 
un grupo de comparación válido que tenga las mismas características que el 
grupo de tratamiento en ausencia del programa. Concretamente, los grupos 
de tratamiento y de comparación deben ser iguales en al menos tres 
aspectos. 

En primer lugar, las características promedio del grupo de tratamiento y 
del grupo de comparación deben ser idénticas en ausencia del programa.? 
Aunque no es necesario que las unidades individuales en el grupo de trata- 
miento tengan clones perfectos en el grupo de comparación, en promedio 
las características de los grupos de tratamiento y de comparación deberían 
ser las mismas. Por ejemplo, la edad promedio de las personas en el grupo de 
tratamiento debería ser la misma que en el grupo de comparación. 

En segundo lugar, el tratamiento no tendría que afectar al grupo de 
comparación de forma directa ni indirecta. En el caso del señor Fulanito y 
el dinero de bolsillo, el grupo de tratamiento no debería transferir recur- 
sos al grupo de comparación (efecto directo) ni influir en el precio de los 
caramelos en los mercados locales (efecto indirecto). Por ejemplo, si lo 
que se busca es aislar el impacto del dinero de bolsillo en el consumo de 
caramelos, al grupo de tratamiento no se le deberían ofrecer más visitas 
a la tienda de caramelos que al grupo de comparación; de otra manera, 
no se podría distinguir si el consumo adicional de caramelos es conse- 
cuencia del dinero de bolsillo o del mayor número de visitas a la tienda de 
caramelos. 

En tercer lugar, los resultados de las personas en el grupo de control 
deberían cambiar de la misma manera que los resultados en el grupo de tra- 
tamiento, si ambos grupos son objeto del tratamiento (o no). En este sentido, 
los grupos de tratamiento y de comparación tendrían que reaccionar al 
programa de igual modo. Por ejemplo, si los ingresos de las personas del 
grupo de tratamiento aumentaran en US$100 gracias al programa de forma- 
ción, los ingresos de las personas en el grupo de comparación también ten- 
drían que subir US$100 si hubieran sido objeto de la formación. 
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Si se cumplen estas tres condiciones, solamente la existencia del pro- 
grama de interés explicará cualquier diferencia en el resultado (Y) entre los 
dos grupos. Esto obedece a que la única diferencia entre los grupos de trata- 
miento y los de comparación es que los miembros del grupo de tratamiento 
recibieron el programa, mientras que los del grupo de comparación no lo 
recibieron. Cuando la diferencia en el resultado se puede atribuir total- 
mente al programa, se ha identificado el impacto causal del programa. 

En el caso del señor Fulanito se observó que estimar el impacto del dinero 
de bolsillo en su consumo de caramelos exigía la tarea impracticable de 
encontrar el clon perfecto del señor Fulanito. En vez de analizar el impacto 
en un solo individuo, es más realista evaluar el impacto promedio en un 
grupo de individuos (véase el gráfico 3.2). En ese sentido, si se pudiera iden- 
tificar otro grupo de individuos que comparten el mismo promedio de edad, 
composición por sexo, educación, preferencia por los caramelos, etc., con la 
salvedad de que no recibe el dinero de bolsillo adicional, sería posible esti- 
mar el impacto del dinero de bolsillo, pues este estaría conformado por la 
diferencia entre el consumo promedio de caramelos en ambos grupos. Por lo 
tanto, si el grupo de tratamiento consume una media de seis caramelos por 
persona, mientras que el grupo de comparación consume una media de cua- 
tro, el impacto promedio del dinero de bolsillo adicional en el consumo de 
caramelos sería de dos caramelos. 

Después de definir un grupo de comparación válido, es importante consi- 
derar qué ocurriría si la decisión fuera seguir adelante con una evaluación 
sin haber hallado ese grupo. Es evidente que un grupo de comparación no 


Gráfico 3.2 Un grupo de comparación válido 


Tratamiento 


Media Y= 6 caramelos Media Y= 4 caramelos 


Impacto = 6 - 4 = 2 caramelos 
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válido difiere del grupo de tratamiento de alguna manera distinta de la 
ausencia de tratamiento. Debido a esas otras diferencias, la estimación de 
impacto puede ser no válida o, en términos estadísticos, puede ser sesgada: 
en ese caso la evaluación de impacto no estimará el verdadero impacto del 
programa, sino el efecto del programa mezclado con esas otras diferencias 
existentes entre los grupos. 


Dos estimaciones falsas del contrafactual 


En lo que queda de la segunda parte de este libro se abordarán los diversos 
métodos disponibles para construir grupos de comparación válidos que 
permitirán estimar el contrafactual. Sin embargo, antes resulta útil analizar 
dos métodos de uso habitual, aunque sumamente riesgosos, para construir 
grupos de comparación que a menudo conducen a estimaciones inadecua- 
das (“falsas”) del contrafactual: 


e Las comparaciones antes-después (también conocidas como comparacio- 
nes pre-post o reflexivas): cotejan los resultados del mismo grupo antes y 
después de participar en un programa. 


e Las comparaciones de inscritos y no inscritos (o autoseleccionados): com- 
paran los resultados de un grupo que elige participar en un programa con 
otros de un grupo que elige no participar. 


Contrafactual falso 1: comparación entre resultados antes y 
después de un programa 


Una comparación antes-después intenta establecer el impacto de un 
programa a partir de un seguimiento de los cambios en los resultados en los 
participantes del programa a lo largo del tiempo. De acuerdo con la fórmula 
básica de la evaluación de impacto, el resultado para el grupo de tratamiento 
(Y | P= Des, sin duda, el resultado después de participar en el programa. Sin 
embargo, las comparaciones antes-después consideran el contrafactual esti- 
mado (Y | P = 0) como el resultado para el grupo de tratamiento antes de 
que comience la intervención. Básicamente, esta comparación supone que si 
el programa no hubiera existido, el resultado (Y) para los participantes del 
programa habría sido igual a su situación antes del programa. Lo cierto es 
que en la mayoría de los programas implementados durante meses o años 
este supuesto no puede sostenerse. 

A modo de ejemplo se aborda la evaluación de un programa de microfi- 
nanzas para agricultores pobres. El programa ofrece micropréstamos a 
los agricultores, lo que les permite comprar fertilizantes y aumentar su 


La evaluación de impacto en la práctica 


producción de arroz. El año previo al inicio del programa, los agricultores 
cosecharon un promedio de 1.000 kilos de arroz por hectárea (el punto B 
en el gráfico 3.3). Un año después del lanzamiento del sistema de microfi- 
nanzas, la producción de arroz subió a 1.100 kilos por hectárea (el punto A 
en el gráfico 3.3). Si se tratara de evaluar el impacto sobre la base de una 
comparación antes-después, se utilizaría el resultado de antes del pro- 
grama como una estimación del contrafactual. Al aplicar la misma fór- 
mula básica de la evaluación de impacto, se llegaría a la conclusión de que 
el programa ha incrementado la producción de arroz en 100 kilos por 
hectárea (A-B). 

Ahora bien, si las lluvias fueron normales en el año previo al lanza- 
miento del programa y luego, durante el año en que se implementó el pro- 
grama, se produjo una sequía, la producción promedio de los agricultores 
sin el sistema de micropréstamos será probablemente menor que B, y se 
situará, por ejemplo, en el nivel D debido a la sequía. En ese caso, el verda- 
dero impacto del programa sería A-D, que es mayor que los 100 kilos esti- 
mados a partir de la comparación antes-después. En cambio, si las lluvias 
hubieran mejorado entre los dos años, el contrafactual de la producción de 
arroz podría haberse situado en el nivel C. Entonces el verdadero impacto 


Gráfico 3.3 Estimaciones antes-después de un programa de microfinanzas 
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del programa habría sido inferior a 100 kilos. En otras palabras, si los aná- 
lisis de impacto no pueden dar cuenta de las lluvias y de todos los demás 
factores capaces de influir en la producción de arroz a lo largo del tiempo, 
es imposible calcular el verdadero impacto del programa mediante una 
comparación antes-después. 

En el ejemplo anterior de las microfinanzas, las lluvias constituyen uno 
de varios factores externos que pueden influir en el resultado de interés del 
programa (la producción de arroz) durante su vigencia. De la misma manera, 
muchos resultados que los programas de desarrollo pretenden mejorar, 
como los ingresos, la productividad, la salud o la educación, están afectados 
por un conjunto de factores en el transcurso del tiempo. Por ese motivo, el 
resultado de referencia casi nunca es una buena estimación del contrafac- 
tual y se lo considera un contrafactual “falso”. 


Qr Evaluación de impacto del HISP: una comparación de 
U resultados antes-después 


Como se recordará, el HISP es un programa nuevo en el país, que subsi- 
dia los seguros de salud en los hogares rurales pobres, y este seguro cubre 
los gastos relacionados con la atención de salud y los medicamentos para 
quienes se inscriben en él. El objetivo del HISP es reducir lo que los 
hogares pobres gastan en atención primaria de salud y medicamentos 
y, eventualmente, mejorar los resultados de salud. Aunque se podrian 
contemplar numerosos indicadores de resultados para la evaluación del 
programa, al gobierno le interesa, en particular, el análisis de los efectos 
del HISP en los gastos directos en salud per cápita anuales (de ahora en 
adelante denominados “gasto en salud”). 

Si el HISP se ampliara a todo el país representaría un alto porcentaje 
del presupuesto nacional, hasta el 1,5% del producto interno bruto (PIB), 
según algunas estimaciones. Además, hay otras complejidades adminis- 
trativas y logísticas importantes que intervienen en la gestión de un 
programa de estas características. Por eso, en los niveles más altos del 
gobierno se ha tomado la decisión de introducir el HISP primero como 
programa piloto y, más tarde, según los resultados de la fase inicial, 
aumentar su escala de manera progresiva a lo largo del tiempo. Sobre la 
base de los resultados de los análisis financieros y de costo-beneficio, la 
presidenta y su gabinete han anunciado que para que el HISP sea viable y 
se pueda extender a todo el país es preciso que los gastos en salud per 
cápita anuales de los hogares rurales pobres disminuyan en al menos 
US$9 en promedio, en comparación con lo que habrian gastado en ausen- 
cia del programa, y se debe lograr esta meta en un plazo de dos años. 


La evaluación de impacto en la práctica 


Finalmente, durante la fase piloto inicial el HISP se implementa en 
100 pueblos rurales. Justo antes del comienzo del programa, el gobierno 
contrata una empresa de encuestas para que realice un sondeo de línea 
de base en los 4.959 hogares de estos pueblos. La encuesta recopila infor- 
mación detallada sobre cada hogar, que incluye su composición demo- 
gráfica, sus activos, su acceso a los servicios sanitarios y su gasto en salud 
durante el año anterior. Poco después de la encuesta de línea de base, el 
HISP llega a los 100 pueblos piloto con un gran despliegue de publicidad, 
que abarca actividades comunitarias y otras campañas promocionales 
para animar a los pobladores a inscribirse. 

De los 4.959 hogares que contiene la muestra de línea de base, un total 
de 2.907 se inscriben en el HISP y el programa funciona con éxito 
durante los dos años siguientes. Todas las clínicas y farmacias que sirven 
los 100 pueblos aceptan a los pacientes con el sistema de seguro y las 
encuestas muestran que la mayoría de los hogares inscritos expresa 
satisfacción con el programa. Al final del período piloto de dos años se 
recopila una segunda ronda de datos de evaluación en la misma muestra 
de 4.959 hogares.* 

La presidenta y el ministro de Salud le han encargado a un equipo que 
supervise la evaluación de impacto del HISP y este debe recomendarle al 
gobierno si es conveniente ampliar el programa al nivel nacional o no. La 
pregunta de evaluación de impacto de interés es: ¿cuál es el efecto del 
Programa de Subsidios de Seguros de Salud en los gastos directos en 
salud de los hogares pobres? Es preciso recordar que hay mucho en juego. 
Si se llega a la conclusión de que el HISP reduce los gastos en salud en al 
menos US$10, se extenderá a todo el país. Si el programa no alcanza ese 
objetivo, la decisión será que no se amplie. 

El primer consultor “experto” señala que para estimar el impacto del 
HISP hay que calcular el cambio en los gastos en salud a lo largo del 
tiempo en los hogares que se inscribieron. El consultor sostiene que 
debido a que el HISP cubre todos los gastos de salud, cualquier reducción 
de los gastos durante la vigencia del programa debe ser atribuida al efecto 
del HISP. A partir del subconjunto de los hogares inscritos, el experto 
estima los gastos promedio en salud antes de la implementación del 
programa y luego de la ejecución del mismo, dos años después. En otras 
palabras, lleva a cabo una comparación antes-después (los resultados se 
recogen en el cuadro 3.1) Se observa que el grupo de tratamiento redujo 
sus gastos directos en salud en US$6,65, al pasar de US$14,49 antes de la 
introducción del HISP a US$7,84 dos años más tarde. Como indica el 
valor t-estadístico, la diferencia entre gastos en salud antes y después 
del programa es estadísticamente significativa.* Esto significa que se ha 
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Cuadro 3.1 Evaluación del HISP según comparación antes-después 


Después Antes Diferencia  t-estadístico 


Gasto en salud de los 
hogares (en US$) 7,84 14,49 -GO -39,76 


** Significativo al nivel del 1%. 


Cuadro 3.2 Impacto del HISP según comparación antes-después (análisis 
de regresión) 


Regresión lineal 


Regresión lineal multivariante 
Impacto estimado en el 
gasto en salud de los —6,65** —6,71** 
hogares (en US$) (0,23) (0,23) 


Nota: Los errores estándar están entre paréntesis. 


** Significativo al nivel del 1%. 


encontrado evidencia sólida contra quienes sostienen que la verdadera 
diferencia entre los gastos antes y después de la intervención es cero. 

Aunque la comparación antes-después es para el mismo grupo de 
hogares, es preciso establecer si otras circunstancias cambiaron en estos 
hogares a lo largo de los últimos dos años, influyendo en sus gastos en 
salud. Por ejemplo, hay nuevos medicamentos que se encuentran dispo- 
nibles desde hace poco tiempo. Además, la reducción de los gastos en 
salud podría haber sido provocada por la crisis financiera que el país ha 
vivido recientemente. Para abordar algunas de estas cuestiones, el con- 
sultor lleva a cabo un análisis de regresión más sofisticado que intentará 
controlar por estos otros factores. 

El análisis de regresión emplea las estadísticas para analizar las rela- 
ciones entre una variable dependiente (la variable que será explicada) y 
variables explicativas (los resultados se recogen en el cuadro 3.2). Una 
regresión lineal es la forma más sencilla de hacerlo: los gastos en salud 
son la variable dependiente y solo hay una variable explicativa, un indica- 
dor binario (0-1) que asume el valor 0 si la observación es de linea de base 
y 1 si la observación corresponde al seguimiento. 

En tanto, una regresión lineal multivariante añade variables explicati- 
vas para controlar por, o mantener constantes, otras características que se 
observan para los hogares en la muestra, que incluyen indicadores 
de riqueza (activos), composición del hogar, etcétera." 


La evaluación de impacto en la práctica 


Se observa que el resultado de la regresión lineal es equivalente a la 
simple diferencia antes y después en los gastos promedio en salud que 
muestra el cuadro 3.1 (una reducción de US$6,65 en los gastos en salud). 
Una vez que se utiliza una regresión lineal multivariante para controlar 
por otros factores disponibles en los datos, se vuelve a obtener un resul- 
tado similar: una disminución de US$6,71 en los gastos en salud. 


© Pregunta HISP 1 


A. ¿La comparación antes-después controla por todos los factores que 
influyen en los gastos en salud a lo largo del tiempo? 

B. Sobre la base de los resultados producidos por el análisis antes- 
después, ¿debería ampliarse el HISP a nivel nacional? 


Contrafactual falso 2: comparación entre los grupos de inscritos y 
no inscritos (autoseleccionados) 


La comparación entre un grupo de individuos que se inscriben voluntaria- 
mente en un programa y un grupo de individuos que elige no participar es 
otro enfoque riesgoso de la evaluación de impacto. Un grupo de compara- 
ción que se autoselecciona para no participar en un programa será otro 
contrafactual falso. La selección se produce cuando la participación en el 
programa se basa en las preferencias, decisiones o características no obser- 
vables de los participantes potenciales. 

A modo de ejemplo se puede pensar en un programa de orientación pro- 
fesional para los jóvenes desempleados. Dos años después de su lanza- 
miento, una evaluación intenta estimar su impacto en los ingresos a partir 
de la comparación de los ingresos promedio de un grupo de jóvenes que 
decidieron inscribirse en el programa con los de un grupo de jóvenes que, a 
pesar de ser elegibles, decidieron no inscribirse. Si los resultados demostra- 
ran que los jóvenes que eligieron inscribirse en el programa ganan el 
doble de los que decidieron no hacerlo, ¿cómo debería interpretarse este 
hallazgo? En este caso, el contrafactual se estima sobre la base de los ingre- 
sos de quienes eligieron no inscribirse en el programa. Sin embargo, es pro- 
bable que los dos grupos sean, en esencia, diferentes. Aquellos individuos 
que decidieron participar pueden estar muy motivados para mejorar sus 
vidas y quizá esperen un retorno alto de la formación. Mientras que los que 
decidieron no inscribirse tal vez son jóvenes desanimados que no esperan 
beneficiarse de este tipo de programas. Es factible que estos dos grupos 
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Concepto clave 


El sesgo de selección 
se produce cuando los 
motivos por los que un 
individuo participa en 
un programa están 
correlacionados con 
os resultados. 
Asegurarse de que el 
impacto estimado esté 
¡bre de sesgos de 
selección es uno de los 
principales objetivos 
en cualquier 
evaluación de impacto 
y plantea importantes 
dificultades. 
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obtengan resultados bastante distintos en el mercado laboral y consigan 
ingresos diferentes incluso sin el programa de formación profesional. 

Los mismos problemas surgen cuando la admisión en un programa se 
basa en preferencias no observadas de los administradores del programa. 
Por ejemplo, si los administradores del programa basan la admisión y la 
inscripción en una entrevista. Puede que los admitidos en el programa sean 
aquellos en quienes los administradores ven una buena probabilidad de 
beneficiarse del programa. Tal vez los no admitidos pueden mostrar menos 
motivación en la entrevista, tener calificaciones más bajas o sencillamente 
carecer de destrezas en una entrevista. Como se señaló en el caso anterior, 
es probable que estos dos grupos de jóvenes obtengan ingresos diferentes en 
el mercado laboral incluso sin un programa de formación profesional. 

Por lo tanto, el grupo que no se inscribió no proporciona una buena 
estimación del contrafactual ya que la observación de una diferencia en los 
ingresos entre los dos grupos no permite determinar si se debe al programa 
de formación o a los contrastes subyacentes entre los dos grupos en motiva- 
ción, destrezas y otros factores. Así, el hecho de que individuos menos 
motivados o menos cualificados no se hayan inscrito en el programa de for- 
mación genera un sesgo en la evaluación de impacto del programa.* Este 
sesgo se llama sesgo de selección. En términos más generales, el sesgo de 
selección se produce cuando los motivos por los que un individuo participa 
en un programa están correlacionados con los resultados, incluso en ausen- 
cia del programa. Asegurarse de que el impacto estimado esté libre de ses- 
gos de selección es uno de los principales objetivos de cualquier evaluación 
de impacto, y plantea importantes dificultades. En este ejemplo, si los jóve- 
nes que se inscribieron en la formación profesional hubiesen tenido ingre- 
sos más altos incluso en ausencia del programa, el sesgo de selección sería 
positivo; en otras palabras, se sobreestimaría el impacto del programa de 
formación profesional al atribuirle los ingresos más altos que los participan- 
tes habrían tenido de todas maneras. 


J) , Evaluación del impacto del HISP: comparación entre 
hogares inscritos y no inscritos 


Después de haber reflexionado de forma más detenida sobre la compara- 
ción antes-después el equipo de evaluación llega a la conclusión de que 
todavía hay numerosos factores que pueden explicar parte del cambio en 
los gastos en salud a lo largo del tiempo (concretamente, al ministerio de 
Finanzas le preocupa que una reciente crisis financiera haya afectado los 
ingresos de los hogares, y puede que explique el cambio observado en los 
gastos en salud). 


La evaluación de impacto en la práctica 


Otro consultor sugiere que sería más adecuado estimar el contrafac- 
tual en el periodo posterior a la intervención, es decir, dos años después 
del comienzo del programa. El consultor señala que de los 4.959 hogares 
contenidos en la muestra, solo 2.907 se inscribieron en el programa, de 
modo que alrededor del 41% de los hogares sigue sin cobertura del HISP. 
El consultor sostiene que todos los hogares de los 100 pueblos piloto 
cumplían las condiciones para inscribirse. Estos hogares comparten las 
mismas clínicas de salud y están sujetos a los mismos precios locales de 
los productos farmacéuticos. Además, la mayoría de los integrantes de 
esos hogares trabaja en actividades económicas similares. El consultor 
opina que, en estas circunstancias, los resultados del grupo no inscrito 
después de la intervención podrían servir para estimar el resultado con- 
trafactual del grupo inscrito en el HISP. Por lo tanto, decide calcular los 
gastos promedio en salud en el período posterior a la intervención, tanto 
para los hogares que se inscribieron en el programa como para los que 
no lo hicieron (los resultados se recogen en el cuadro 3.3). Utilizando los 
gastos promedio de salud de los hogares no inscritos como la estimación 
del contrafactual, el consultor llega a la conclusión de que el programa 
ha reducido los gastos promedio de salud en casi US$14,46. 

Ahora bien, los hogares que decidieron no inscribirse en el programa 
¿pueden ser sistemáticamente diferentes de los que sí lo hicieron? Quizá 
los hogares que se inscribieron en el HISP tenían mayores gastos en salud 
o eran personas con más información acerca del programa o más atentas 
a la salud de su familia. Otra posibilidad es que tal vez los hogares que se 
inscribieron eran más pobres, en promedio, que los que no se inscribie- 
ron, ya que el HISP tenía como objetivo los hogares pobres. El consultor 
asegura que el análisis de regresión puede controlar por estas diferencias 
potenciales entre los dos grupos. Por lo tanto, realiza otra regresión mul- 
tivariante que controla por todas las características del hogar que puede 
encontrar en la base de datos, y estima el impacto del programa como se 
muestra en el cuadro 3.4. 


Cuadro 3.3 Evaluación del HISP según comparación inscritos-no inscritos 
(comparación de medias) 


Inscritos No inscritos Diferencia t-estadístico 


Gasto en salud de los 
hogares (en US$) 7,84 22,30 -14,46** -49,08 


** Significativo al nivel del 1%. 
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Cuadro 3.4 Evaluación del HISP según comparación inscritos-no inscritos 
(análisis de regresión) 


Regresión lineal Regresión lineal multivariante 


Impacto estimado 

sobre el gasto en 

salud de los hogares -14,46** -9,98** 
(en US$) (0,33) (0,29) 


Nota: Los errores estándar están entre paréntesis. 


** Significativo al nivel del 1%. 


Con una simple regresión lineal de los gastos en salud en una variable 
indicativa de si un hogar se inscribió o no en el programa, es posible 
encontrar un impacto estimado de US$ -14,46, es decir, que el programa 
ha disminuido el promedio de gastos de salud en US$14,46. Sin embargo, 
cuando se controla por todas las demás características de los datos, se 
estima que el programa ha reducido los gastos en salud en US$ 9,98 al año. 


A 
e Pregunta HISP 2 


A. ¿Este análisis controla por todos los factores que determinan las dife- 
rencias en gastos en salud entre los dos grupos? 

B. Sobre la base de los resultados producidos por el método de inscripción- 
no inscripción, ¿debería ampliarse el HISP al nivel nacional? 


Recursos adicionales 


e Para material complementario del libro y para otros hipervínculos de recursos, 
se recomienda ver el sitio web de la Evaluación de Impacto en la Práctica 
(http://wwwworldbank.org/ieinpractice). 


Notas 


1. Usamos el Modelo Causal de Rubin como marco para la inferencia causal. 

2. Esta condición se relajará en algunos métodos de evaluación de impacto que, en 
cambio, requerirán que el cambio promedio en los resultados (tendencias) sea el 
mismo en ausencia del programa. 

3. Se supone que ningún hogar ha dejado la muestra en esos dos años (hay un 
desgaste cero de la muestra). Este no es un supuesto realista en la mayoría de las 
encuestas de hogares. En la práctica, a veces no se puede hacer un seguimiento de 
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las familias que se mudan en su nueva localidad, y algunos hogares se rompen o 
dejan de existir del todo. 

. Cabe destacar que un t-estadístico (t-stat) de 1,96 o más (en valor absoluto) es 
“estadísticamente significativo” en un nivel del 5%. 

. Para más información sobre el análisis multivariante, véase el manual técnico en 
línea del sitio web de la Evaluación de Impacto en la Práctica (www.worldbank 
.org/ieinpractice). 

. Otro ejemplo: si los jóvenes que esperan beneficiarse de un modo considerable 
del sistema de formación también tienen más probabilidades de inscribirse 
(tal vez porque esperan tener salarios más altos con la formación) compararlos 
con un grupo de jóvenes que espera menores retornos y que no se inscribe 
arrojará una estimación de impacto sesgada. 


Referencias bibliográficas 


Imbens, G. y D. Rubin. 2008. “Rubin Causal Model” En: S. N. Durlauf y L. E. Blume 


(eds.), The New Palgrave Dictionary of Economics (2da. edición). Nueva York: 
Palgrave. 


Rubin, D. 1974. “Estimating Causal Effects of Treatments in Randomized and 


Non- Randomized Studies.” Journal of Educational Psychology 66 (5): 688-701. 


Inferencia causal y contrafactuales 


69 


CAPÍTULO 4 


La asignación aleatoria 


La evaluación de programas basados en reglas 
de asignación 


Después de analizar dos estimaciones “falsificadas” del contrafactual que 
se utilizan habitualmente, aunque con un alto riesgo de sesgo -las compara- 
ciones antes-después y las comparaciones inscritos-no inscritos-, a conti- 
nuación se presentará un conjunto de métodos que se pueden aplicar para 
estimar con mayor precisión los impactos de un programa. Sin embargo, 
esas estimaciones no siempre son tan fáciles como puede parecer a primera 
vista. La mayoría de los programas se diseña y luego se implementa en un 
entorno complejo y cambiante, donde diversos factores pueden influir en 
los resultados tanto de los participantes del programa como de aquellos que 
no participan. Las sequías, los terremotos, las recesiones, los cambios de 
gobierno y los vaivenes de las políticas nacional e internacional forman 
parte del mundo real. En una evaluación, se debe asegurar que la estima- 
ción del impacto del programa siga siendo válida a pesar de esta diversidad 
de factores. 

Las reglas de un programa para seleccionar a los participantes constitui- 
rán el parámetro clave para determinar el método de la evaluación de 
impacto. Creemos que, en la mayoría de los casos, los métodos de evalua- 
ción deben intentar adaptarse al contexto de las reglas operativas de un 
programa (con unos pocos ajustes por aquí y por allá) y no al contrario. 
Sin embargo, también se parte de la premisa de que todos los programas 
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sociales deben tener reglas de asignación justas y transparentes. Una de las 
reglas más justas y transparentes para asignar recursos escasos entre pobla- 
ciones que los merecen de igual manera consiste en que todos aquellos que 
sean elegibles tengan la misma oportunidad de participar en el programa. 
Una manera sencilla de conseguirlo es mediante un sorteo. 

En este capítulo, se analizará un método que se asemeja a un sorteo y que 
decide quién participa en un programa en un determinado momento y quién 
no: el método de asignación aleatoria, también conocido como ensayo aleato- 
rio controlado (RCT, por sus siglas en inglés, randomized control trial). Este 
método no solo proporciona a los administradores del programa una regla 
imparcial y transparente para asignar recursos escasos entre poblaciones 
igualmente merecedoras de ellos, sino que también representa el método más 
sólido para evaluar el impacto de un programa. Por eso, la aplicación del 
mismo para evaluar los impactos de los programas ha aumentado de manera 
considerable en los últimos años. 


La asignación aleatoria del tratamiento 


Cuando se asigna de forma aleatoria a los beneficiarios de un programa -es 
decir, mediante sorteo- entre una población elegible numerosa, se puede 
generar una estimación robusta del contrafactual. La asignación aleatoria 
del tratamiento se considera la regla de oro de la evaluación de impacto. 
Utiliza un proceso aleatorio, o el azar, para decidir a quién se le concederá 
acceso al programa y a quién no.! En la asignación aleatoria, todas las unida- 
des elegibles (por ejemplo, una persona, un hogar, una empresa, un hospital, 
una escuela o una comunidad) tienen la misma probabilidad de ser 
seleccionadas para un programa.? 

Antes de ver cómo se implementa la asignación aleatoria en la práctica y 
por qué genera una estimación sólida del contrafactual, conviene dedicar un 
momento a pensar por qué la asignación aleatoria también es una manera 
justa y transparente de asignar los escasos recursos de un programa. Una 
vez que se ha definido una población objetivo (por ejemplo, hogares por 
debajo de la línea de la pobreza, niños menores de 5 años o caminos en zonas 
rurales en el norte del país), la asignación aleatoria es una regla de asigna- 
ción justa porque permite que los administradores del programa se asegu- 
ren de que todas las unidades elegibles tengan la misma probabilidad de 
participar en el programa y de que el programa no sea asignado con criterios 
arbitrarios o subjetivos, ni por cuestiones de favoritismo u otras prácticas 
injustas. Cuando se produce un exceso de demanda de un programa, la 
asignación aleatoria es una regla que los administradores del mismo pueden 
explicar fácilmente, que todas las partes interesadas pueden entender y que 
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se considera justa en numerosas circunstancias. Además, cuando el proceso 
de asignación se lleva a cabo de modo abierto y transparente, no es fácil 
manipularlo y, por lo tanto, protege a los administradores del programa de 
posibles acusaciones de favoritismo o corrupción. Por lo tanto, como meca- 
nismo de asignación, la asignación aleatoria tiene sus propios méritos, 
que van mucho más allá de su utilidad como instrumento de evaluación 
de impacto. De hecho, diversos programas utilizan de manera rutinaria los 
sorteos como una forma de seleccionar a los participantes del conjunto de 
individuos elegibles, sobre todo debido a sus ventajas administrativas y de 
gobernanza.* El recuadro 4.1 presenta dos casos de este tipo en África. 


Recuadro 4.1: La asignación aleatoria como un valioso instrumen- 


to operativo 


La asignación aleatoria puede ser una regla útil 
para asignar los beneficios de un programa, 
incluso fuera del contexto de una evaluación 
de impacto. Los siguientes dos casos de 
África ilustran por qué. 

En Costa de Marfil, después de un período 
de crisis, el gobierno introdujo un programa 
de empleo temporal inicialmente dirigido a 
los ex combatientes, que luego se amplió 
a la juventud en términos más generales. El 
programa ofrecía a los jóvenes oportunidades 
de empleo de corto plazo, sobre todo 
limpiando o rehabilitando caminos, a través 
de la agencia nacional de vialidad. Se invitó 
a los jóvenes en las municipalidades que 
participaban a que se inscribieran. Dado el 
atractivo de los beneficios, fueron muchos 
más los jóvenes que postularon que las plazas 
disponibles. Para encontrar una manera 
transparente y justa de asignar los beneficios 
entre los postulantes, los administradores del 
programa recurrieron a un proceso de sorteo 
público. Una vez que la inscripción se cerró y 
se conocía el número de postulantes (por 
ejemplo, N) en una localidad, se organizaba 
un sorteo público. Se convocaba a todos los 
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postulantes a un lugar público, y se introducían 
en una caja pequeños trozos de papel con 
números que iban de 1 a N. Después, se 
llamaba a los postulantes uno por uno para 
que sacaran un número de la caja delante de 
todos los demás participantes. Una vez que 
se sacaba el número, se leía en voz alta. 
Después de que se había llamado a todos los 
postulantes, se verificaban uno por uno 
los números que quedaban en la caja 
para cerciorarse de que correspondieran a 
participantes que no habían asistido al sorteo. 
Si había N plazas disponibles en el programa, 
se seleccionaba a aquellos postulantes que 
habían sacado los números más bajos. El 
proceso de sorteo se organizó por separado 
para hombres y mujeres. Fue bien aceptado 
por los participantes, y contribuyó a dar una 
imagen de imparcialidad y transparencia 
al programa en un contexto posterior al 
conflicto, marcado por tensiones sociales. 
Después de varios años en marcha, los 
investigadores utilizaron esta regla de 
selección, ya integrada en el funcionamiento 
del programa, para emprender su evaluación 
de impacto. 


Continúa en la página siguiente. 
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Recuadro 4.1: La asignación aleatoria como un valioso instrumento operativo (continúa) 


En Níger, el gobierno comenzó a 
implementar en 2011 un proyecto de red de 
protección nacional, con el apoyo del Banco 
Mundial. Níger es uno de los países más 
pobres del mundo y la población de hogares 
pobres que merecían el programa superó por 
mucho los beneficios disponibles durante los 
primeros años de funcionamiento. Los 
administradores del programa contaban con 
un sistema de selección geográfica para 
definir en qué departamentos y comunas 
se implementaría primero el programa de 
transferencias de efectivo. Esto se podía 
hacer porque había datos para determinar la 
pobreza relativa o el estado de vulnerabilidad 
de los diversos departamentos o comunas. 
Sin embargo, dentro de las comunas, había 
muy pocos datos disponibles para evaluar 
qué pueblos eran más merecedores que 
otros sobre la base de criterios objetivos. 
Así, para la primera fase del proyecto, los 
administradores del programa decidieron 
utilizar sorteos públicos de modo de 
seleccionar a los pueblos beneficiarios dentro 
de las comunas definidas como objetivo. 
Esta decisión se llevó a cabo en parte porque 
los datos disponibles para priorizar de manera 
objetiva a los pueblos eran limitados, y 
en parte porque en el proyecto se estaba 
incorporando una evaluación de impacto. En 
los sorteos públicos se invitaba a todos los 


responsables de los pueblos al centro 
municipal, se escribían los nombres de sus 
pueblos en un trozo de papel, y se introducían 
en una caja. Después, un niño sacaba al azar 
los papeles que correspondían a los pueblos 
beneficiarios hasta que se llenaban las 
cuotas. El procedimiento se utilizó por 
separado para pueblos sedentarios y pueblos 
nómadas a fin de asegurar la representación 
de cada grupo. (Después de seleccionar a 
los pueblos, se implementó un mecanismo 
de definición de objetivos a nivel de los 
hogares para identificar a los hogares más 
pobres, que posteriormente fueron inscritos 
como beneficiarios.) La transparencia y la 
imparcialidad del sorteo público fueron muy 
apreciadas por las autoridades locales y de 
los pueblos, y por los administradores del 
programa, de tal manera que el proceso de 
sorteo público siguió siendo utilizado en el 
segundo y tercer ciclo del proyecto para 
seleccionar más de 1.000 pueblos en todo 
el país. Aunque el sorteo público no fue 
necesario para realizar una evaluación de 
impacto en ese momento, su valor como 
instrumento operativo transparente, justo 
y ampliamente aceptado para asignar 
beneficios entre poblaciones que los 
merecían por igual, justificó la continuidad de 
su uso ante los administradores del programa 
y las autoridades locales. 


Fuentes: Bertrand et al. (2016); Premand, Barry y Smitz (2016). 


La asignación aleatoria a menudo puede derivarse de las reglas operati- 
vas de un programa. En numerosos programas, la población de posibles 
participantes -es decir, el conjunto de individuos que el programa qui- 
siera servir- es mayor que el número de participantes a los que el programa 
se puede realmente dirigir en un determinado momento. Por ejemplo, 
en un solo año un programa educativo puede proporcionar materiales 
escolares a 500 escuelas de un total de 1.000 escuelas elegibles en el país. 
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O un programa de mejora de caminos rurales puede tener el objetivo de 
pavimentar 250 caminos rurales, aunque haya cientos de caminos más 
que el programa desearía mejorar. O un programa de empleo para jóvenes 
puede tener la meta de llegar a 2.000 jóvenes desempleados en su primer 
año de funcionamiento, aunque haya decenas de miles de jóvenes en dichas 
circunstancias que el programa quisiera servir. Por diversos motivos, puede 
que los programas no logren alcanzar al conjunto de la población de interés. 
Las limitaciones presupuestarias pueden impedir que los administradores 
ofrezcan el programa a todas las unidades elegibles desde el comienzo. 
Aunque haya presupuestos disponibles para cubrir un gran número de 
participantes, las limitaciones de capacidad a veces impedirán que un pro- 
grama pueda ser implementado para todos al mismo tiempo. Por ejemplo, 
en el caso del programa de formación profesional para jóvenes, la cantidad 
de jóvenes desempleados que desean obtener una formación profesional 
puede ser superior al número de plazas disponibles en las escuelas técnicas 
durante el primer año del programa, y eso puede restringir el número de 
alumnos que pueden matricularse. 

Cuando la población de participantes elegibles es superior al número de 
plazas disponibles en el programa, alguien debe tomar la decisión de quién 
participará y quién no. En otras palabras, los administradores del programa 
deben definir un mecanismo de selección para asignar los servicios del 
mismo. El programa podría funcionar según un principio de orden de 
llegada, o basarse en características observables (por ejemplo, atendiendo 
primero las zonas más pobres); la selección también podría basarse en 
características no observables (por ejemplo, dejar que los individuos se ins- 
criban a partir de sus propias motivaciones y conocimientos), o se podría 
recurrir a un sorteo. Incluso en contextos donde es posible clasificar a los 
participantes potenciales en función de la necesidad, puede que convenga 
asignar parte de los beneficios mediante un sorteo. Por ejemplo, piénsese en 
un programa que tiene como objetivo al 20% más pobre de los hogares sobre 
la base de una medida del ingreso. Si el ingreso solo se puede medir de forma 
imperfecta, el programa podría usar esta medida para incluir a todos los 
participantes potenciales que se identifican como “de extrema pobreza” 
(por ejemplo, el 15% inferior). Sin embargo, dado que el ingreso se mide de 
manera imperfecta, los hogares que se encuentren justo por debajo del 
umbral de elegibilidad en el percentil 20°, en la realidad pueden ser elegi- 
bles o no serlo (si se pudiera medir el verdadero ingreso), mientras que los 
hogares que se hallen justo por encima del percentil 20° también pueden ser 
elegibles o no. En este contexto, utilizar un sorteo para determinar qué 
hogares serían beneficiarios en torno al percentil 20° (por ejemplo, entre los 
percentiles 15 y 25% de la distribución del ingreso) podría ser una manera 
justa de asignar los beneficios en este grupo de hogares. 
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Concepto clave 


En la asignación 
aleatoria, cada unidad 
elegible tiene la 
misma probabilidad de 
ser seleccionada para 
el tratamiento, de 
modo que se asegura 
a equivalencia entre 
os grupos de 
tratamiento y 
comparación tanto en 
as características 
observables como en 
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as no observables. 


¿Por qué la asignación aleatoria produce una excelente 
estimación del contrafactual? 


Como ya se ha visto, el grupo de comparación ideal sería lo más similar 
posible al grupo de tratamiento en todos los sentidos, excepto con respecto 
a su participación en el programa que se evalúa. Cuando se asignan unida- 
des de manera aleatoria a los grupos de tratamiento y de comparación, 
ese proceso de asignación aleatoria producirá dos grupos que tienen una 
alta probabilidad de ser estadísticamente idénticos, siempre que el número 
de unidades potenciales a las que se aplica el proceso de asignación aleatoria 
sea suficientemente grande. Concretamente, con un gran número de unida- 
des el proceso de asignación aleatoria producirá grupos que tienen prome- 
dios estadísticamente equivalentes en todas sus características.* 

El gráfico 4.1 ilustra por qué la asignación aleatoria produce un grupo 
de comparación estadísticamente equivalente al grupo de tratamiento. 
Supóngase que la población de unidades elegibles (el conjunto de partici- 
pantes potenciales, o la población de interés para la evaluación) consiste en 
más de 1.000 personas. Entonces, se asigna aleatoriamente la mitad al grupo 
de tratamiento y la otra mitad al grupo de comparación. Por ejemplo, se 
escriben los nombres de las 1.000 personas en trozos de papel individuales, 
se mezclan todos los trozos en una caja, y luego se le pide a alguien que 
extraiga a ciegas 500 nombres. Si los primeros 500 nombres constituyen el 
grupo de tratamiento, entonces tendríamos un grupo de tratamiento asig- 
nado de forma aleatoria (los primeros 500 números extraídos) y un grupo 
de comparación asignado también de manera aleatoria (los 500 nombres 
que quedaron en la caja). 

Ahora supóngase que el 40% de las 1.000 personas originales eran mujeres. 
Dado que los nombres se han asignado al azar, de los 500 nombres que 


Gráfico 4.1 Características de los grupos bajo tratamiento con 
asignación aleatoria 


Población de unidades elegibles 


La asignación aleatoria 
conserva las características 


La asignación aleatoria 
conserva las características 


Grupo de tratamiento: 
asignado al tratamiento 


Grupo de comparación: 
no asignado al tratamiento 
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se sacaron de la caja, alrededor del 40% serán también mujeres. Si entre las 
1.000 personas, el 20% tenía los ojos azules, entonces casi el 20% de ellas en 
los grupos de tratamiento y de comparación también deberían tener los ojos 
azules. En general, si la población de unidades elegibles es lo suficientemente 
grande, el mecanismo de asignación aleatoria asegura que cualquier caracte- 
rística de la población se transfiera tanto al grupo de tratamiento como al 
grupo de comparación. Del mismo modo que las características observables, 
como el sexo o el color de los ojos de un individuo, se transfieren tanto al 
grupo de tratamiento como al de comparación, es lógico pensar que las carac- 
terísticas que son más difíciles de observar (variables no observables), como 
la motivación, las preferencias u otros rasgos de la personalidad que son 
complejos de medir, también se aplicarán por igual al grupo de tratamiento y 
al de comparación. Así, los grupos de tratamiento y comparación generados 
a través de la asignación aleatoria serán similares no solo en cuanto a sus 
características observables sino también en relación con las no observables. 
Tener dos grupos similares en todos los aspectos asegura que la estimación 
del contrafactual se aproxime al valor verdadero del resultado en ausencia de 
tratamiento, y que una vez que el programa se haya implementado, las esti- 
maciones de impacto no sufrirán un sesgo de selección. 

Cuando una evaluación utiliza la asignación aleatoria para generar los 
grupos de tratamiento y de comparación, en teoría, el proceso debería pro- 
ducir dos grupos equivalentes, siempre que se cuente con un número de 
unidades lo suficientemente grande. Con los datos de línea de base de la 
muestra de evaluación con la que se cuente, se podrá comprobar empirica- 
mente este supuesto y verificar que, de hecho, no hay diferencias sistemá- 
ticas en las características observables entre los grupos de tratamiento y 
de comparación antes del inicio del programa. Luego, si después de lanzar 
el programa se observan diferencias en los resultados entre los grupos de 
tratamiento y comparación, sabremos que esas diferencias se deben única- 
mente a la incidencia del programa, dado que los dos grupos eran idénticos 
en la línea de base, antes del inicio del programa, y que están expuestos a 
los mismos factores externos a lo largo del tiempo. En este sentido, el 
grupo de comparación contiene todos los factores que también pueden 
explicar el resultado de interés. 

Para estimar el impacto de un programa bajo la asignación aleatoria, se 
debe observar la diferencia entre el resultado bajo tratamiento (el resul- 
tado medio del grupo de tratamiento asignado de forma aleatoria) y nues- 
tra estimación del contrafactual (el resultado medio del grupo de 
comparación asignado de manera aleatoria). Así, podemos confiar en que 
nuestro impacto estimado constituye el verdadero impacto del programa, 
puesto que se han eliminado todos los factores observados y no observados 
que, de otra manera, podrían explicar la diferencia en los resultados. 


La asignación aleatoria 


77 


En los recuadros 4.2 a 4.6, se analizan las aplicaciones de la asignación alea- 
toria en el mundo real para evaluar el impacto de diversas intervenciones 
en todo el mundo. 

En el gráfico 4.1 se presupone que todas las unidades de la población ele- 
gible serán asignadas ya sea al grupo de tratamiento o al grupo de compara- 
ción. Sin embargo, en algunos casos no es necesario incluir todas las unidades 
en la evaluación. Por ejemplo, si la población de unidades elegibles es de 
1 millón de madres y se quiere evaluar la efectividad de los bonos en efectivo 
en la probabilidad de que estas madres vacunen a sus hijos, bastará con 
seleccionar una muestra aleatoria representativa de, por ejemplo, 1.000 
madres y asignar a esas 1.000 madres ya sea al grupo de tratamiento o de 
comparación. El gráfico 4.2 ilustra este proceso. Según la misma lógica que 


78 


Recuadro 4.2: La asignación aleatoria como regla de selección de 
un programa: las transferencias condicionadas y la educación en 


México 
El programa Progresa, actualmente 
denominado " Prospera% proporciona 


transferencias en efectivo a las madres 
pobres de zonas rurales de México con la 
condición de que matriculen a sus hijos en la 
escuela y acudan regularmente a chequeos 
de salud (véase el recuadro 1.1 en el capítulo 1). 
Las transferencias en efectivo para niños de 
entre tercero y noveno grado equivalen a 
alrededor del 50% al 75% del costo privado 
de la escolarización y están garantizadas 
durante tres años. Las comunidades y 
los hogares elegibles para el programa se 
determinaron sobre la base del índice de 
pobreza creado a partir de los datos del censo 
y de la recopilación de datos básicos. Debido 
a la necesidad de desplegar en fases el 
programa social de gran escala, cerca de las 
dos terceras partes de las localidades (314 
de 495) fueron asignadas aleatoriamente para 
ser beneficiarias del programa en los dos 


Fuente: Schultz (2004). 


primeros años, y las otras 181 sirvieron como 
grupo de comparación antes de incorporarse 
al programa en el tercer año. 

Sobre la base de la asignación aleatoria, 
Schultz (2004) encontró un aumento 
promedio de un 3,4% en la inscripción de 
todos los alumnos de primero a octavo 
grados, y el mayor incremento, de un 14,8%? 
se observó entre las niñas que habían 
terminado sexto grado. El probable motivo 
de este último resultado es que la tasa de 
niñas que tienden a abandonar la escuela 
crece a medida que estas son mayores; por 
ello, con el fin de que permanecieran en la 
escuela después de los cursos de primaria, 
las niñas recibieron una transferencia 
ligeramente superior. Estos impactos de 
corto plazo luego fueron extrapolados para 
predecir el impacto a más largo plazo del 
programa Progresa en la escolarización y en 
los ingresos a lo largo de la vida. 


a. Para ser precisos, Schultz combinó la asignación aleatoria con el método de diferencias en diferencias que se 


analiza en el capítulo 7. 
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Recuadro 4.3: Asignación aleatoria de donaciones para mejorar 
las perspectivas de empleo juvenil en el norte de Uganda 


En 2005 el gobierno de Uganda comenzó un 
programa destinado a disminuir el desempleo 
juvenil y a promover la estabilidad social en 
el norte del país, sacudido por conflictos. El 
Programa de Oportunidades para los Jóvenes 
invitó a grupos de jóvenes adultos a presentar 
propuestas de ayuda para actividades 
empresariales y formación profesional. Se 
presentaron miles de propuestas, pero el 
gobierno solo podía financiar unas cuantas 
centenas. 

Aprovechando la alta demanda del pro- 
grama, los evaluadores trabajaron con el 
gobierno para asignar de forma aleatoria 
cuáles serían los grupos que recibirían finan- 
ciamiento. El gobierno central pidió a los 
gobiernos de los distritos que presentaran 
más del doble de propuestas de las que 


Fuente: Blattman, Fiala y Martínez (2014). 


podían financiar. Después de una selección, 
el gobierno elaboró una lista de 535 
propuestas elegibles para el programa. 
Posteriormente, las propuestas fueron asig- 
nadas de manera aleatoria a grupos de trata- 
miento (265 propuestas) o de comparación 
(270 propuestas). 

El monto de la ayuda en el grupo de trata- 
miento ascendía a un promedio de US$382 
por persona. Cuatro años después del desem- 
bolso, los jóvenes del grupo de tratamiento 
tenían más del doble de probabilidades de 
trabajar en un oficio calificado que los jóvenes 
del grupo de comparación. También ganaban 
un 38% más y ostentaban un 57% más de 
stock de capital. Sin embargo, los investigado- 
res no encontraron impacto alguno en la cohe- 
sión social ni en las conductas antisociales. 


Recuadro 4.4: Asignación aleatoria de intervenciones en abasteci- 
miento de agua y saneamiento en zonas rurales de Bolivia 


A partir de 2012, el gobierno boliviano, con 
apoyo del Banco Interamericano de Desarrollo 
(BID), implementó una asignación aleatoria de 
intervenciones en materia de abastecimiento 
de agua y saneamiento en pequeñas 
comunidades rurales. En los 24 municipios 
del país con las mayores necesidades, el 
programa identificó más de 369 comunidades 
elegibles para la intervención. Dado que solo 
había recursos para cubrir 182 comunidades, 
el programa utilizó la asignación aleatoria 
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para dar a cada comunidad elegible la misma 
probabilidad de participar. Junto con los 
gobiernos municipales, los administradores 
del programa organizaron una serie de 
eventos donde celebraron sorteos públicos 
ante la presencia de dirigentes comunitarios, 
la prensa y la sociedad civil. 

Primero, se dividieron las comunidades 
según el tamaño de la población. Luego, 
dentro de cada grupo, se obtuvieron al azar 
los nombres de las comunidades y se 


Continúa en la página siguiente. 
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Recuadro 4.4: Asignación aleatoria de intervenciones en abastecimiento de agua y saneamiento en 


zonas rurales de Bolivia (continúa) 


registraron en una lista. Las comunidades 
que quedaron al comienzo de la lista se 
asignaron al grupo de tratamiento. Cada 
concurso fue monitoreado por un notario 
público independiente, que posteriormente 
registró y certificó los resultados, lo que 
concedió un nivel adicional de legitimidad al 
proceso. En el caso de las comunidades que 
quedaron fuera del programa, los gobiernos 
municipales se comprometieron a utilizar la 


misma lista ordenada de forma aleatoria 
para asignar un futuro financiamiento 
después de completar la evaluación. De 
esta manera, ninguna comunidad quedaría 
marginada de la intervención debido 
únicamente a los objetivos de la evaluación, 
pero existiría un grupo de comparación 
mientras las limitaciones presupuestarias 
restringieran el número de proyectos en 
cada municipalidad. 


Fuente: Proyecto Banco Interamericano de Desarrollo N° BO-L1065, véase http://www.iadb.org/en/projects 


/project-description-title, 1303.html?id=BO-L1065. 


Nota: Véase el sorteo público para asignaciones aleatorias en https://vimeo.com/86744573. 
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Recuadro 4.5: Asignación aleatoria de protección del agua de 
pozos para mejorar la salud en Kenia 


El vínculo entre calidad del agua e impactos 
en la salud en los países en desarrollo ha sido 
bien documentado. Sin embargo, el valor 
sanitario de mejorar la infraestructura cerca 
de las fuentes de agua es menos evidente. 
Kremer et al. (2011) midieron los efectos de 
un programa que proporcionaba tecnología 
de protección de pozos para mejorar la 
calidad del agua en Kenia, asignando 
aleatoriamente los pozos receptores del 
tratamiento. 

Alrededor del 43% de los hogares de las 
zonas rurales de Kenia occidental obtienen 
el agua potable de pozos naturales. La 
tecnología de protección de fuentes de agua 
aísla la fuente de un pozo para disminuir 


Fuente: Kremer et al. (2011). 


la contaminación. A partir de 2005, la ONG 
International Child Support (ICS), implementó 
un programa de protección de pozos en dos 
distritos de Kenia occidental. Debido a limita- 
ciones financieras y administrativas, ICS deci- 
dió ampliar el programa a lo largo de cuatro 
años. Esto les permitió a los evaluadores utili- 
zar los pozos que todavía no habían recibido 
tratamiento como grupo de comparación. 

De los 200 pozos elegibles, 100 fueron 
asignados al azar para recibir el tratamiento en 
los primeros dos años. El estudio observó 
que la protección de los pozos redujo la con- 
taminación fecal del agua en un 66% y la dia- 
rrea infantil entre los usuarios de los pozos 
en un 25%. 
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La asignación aleatoria 
conserva las características 


Recuadro 4.6: Asignación aleatoria e información a propósito de 
los riesgos del VIH para reducir el embarazo adolescente en Kenia 


En un experimento aleatorio que se realizó 
en Kenia occidental, Dupas (2011) probó la 
efectividad de dos diferentes tratamientos 
de educación sobre el VIH/Sida para reducir 
conductas sexuales no seguras entre los 
adolescentes. El primer tratamiento consistió 
en la formación de profesores en el programa 
nacional de estudios sobre VIH/Sida, que se 
centró en la aversión al riesgo y que promovía 
la abstinencia. El segundo tratamiento, la 
Campaña de información sobre el riesgo 
relativo, tenía como objetivo reducir las 
relaciones sexuales entre hombres mayores 
y chicas jóvenes proporcionando información 
sobre las tasas de VIH desagregadas por 
edad y sexo. 

El estudio se llevó a cabo en dos distritos 
rurales de Kenia, con una muestra de 
328 escuelas primarias. Los investigadores 
asignaron de forma aleatoria 163 escuelas 
estratificadas por localidad, puntuación de 
las pruebas y proporción alumnos/sexo, 


Fuente: Dupas (2011). 


Población de unidades elegibles 


Muestra de evaluación 


para que recibieran el primer tratamiento. 
Después, se asignaron de manera aleatoria 
71 escuelas al segundo tratamiento 
estratificando la muestra por su participación 
en el primer tratamiento. Esto produjo cuatro 
grupos de escuelas: las escuelas que recibían 
el primer tratamiento, las que recibían el 
segundo, las que recibían ambos y las que no 
recibían ninguno. 

La asignación aleatoria de las escuelas 
garantizaba que no habría diferencias siste- 
máticas en la información a la que estaban 
expuestos los alumnos antes de que comen- 
zara el programa. Un año después de la ter 
minación del programa, Dupas observó que 
la campaña de información sobre el riesgo 
relativo produjo una disminución del 28% en 
la probabilidad de que una joven quedara 
embarazada. En cambio, las escuelas que 
solo habían sido destinatarias del primer 
tratamiento no mostraron efecto alguno en 
el embarazo adolescente. 


Gráfico 4.2 Muestra aleatoria y asignación aleatoria de tratamiento 


L leċċiónalèatori Validez 
a selección aleatoria externa 
conserva las características 
La asignación aleatoria 
conserva las características : 
Validez 
interna 


Grupo de tratamiento: 
asignado al tratamiento 


La asignación aleatoria 


Grupo de comparación: 
no asignado al tratamiento 
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Concepto clave 


Una evaluación tiene 
validez interna si 
proporciona una 
estimación precisa del 
contrafactual mediante 
un grupo de 


comparación válido. 


Concepto clave 


Una evaluación tiene 
validez externa si la 
muestra de evaluación 
representa con 
precisión a la 
población de unidades 
elegibles. Los 
resultados pueden 
luego generalizarse al 
conjunto de la 
población de unidades 
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se detalló más arriba, la selección de una muestra aleatoria de la población 
de unidades elegibles para formar la muestra de evaluación conserva las 
características de la población de las unidades elegibles. Dentro de la mues- 
tra, la asignación aleatoria de individuos a los grupos de tratamiento y 
comparación también conserva dichas características. En el capítulo 15 se 
abordarán otros aspectos del muestreo. 


Validez externa e interna 


Los pasos de la selección aleatoria del tratamiento, que ya se han detallado, 
aseguran tanto la validez interna como externa de las evaluaciones de 
impacto (gráfico 4.2). 

Validez interna significa que el impacto estimado del programa es el 
impacto libre de todos los demás factores de confusión potenciales (o, en 
otras palabras, que el grupo de comparación represente una estimación 
precisa del contrafactual de modo que se estime el verdadero impacto del 
programa). Hay que recordar que la asignación aleatoria produce un grupo 
de comparación que es estadísticamente equivalente al grupo de trata- 
miento en la línea de base, antes de que empiece el programa. Una vez que 
el programa comienza, el grupo de comparación está expuesto al mismo 
conjunto de factores externos que el grupo de tratamiento a lo largo del 
tiempo, con la única excepción del propio programa. Por lo tanto, si aparece 
cualquier diferencia en los resultados entre los grupos de tratamiento y 
de comparación, solo puede deberse a la existencia del programa en el 
grupo de tratamiento. La validez interna de una evaluación de impacto se 
asegura a través del proceso de asignación aleatoria del tratamiento. 

Validez externa quiere decir que la muestra de la evaluación representa 
con precisión a la población de unidades elegibles. Los resultados de la eva- 
luación se pueden entonces generalizar a la población de unidades elegibles. 
Se utiliza el muestreo aleatorio para asegurar que la muestra de la evaluación 
refleje adecuadamente la población de unidades elegibles, de modo que los 
impactos identificados en la muestra de la evaluación pueden extrapolarse a 
la población. 

Nótese que se ha realizado un proceso de selección aleatoria con dos 
objetivos diferentes: selección aleatoria de una muestra (para la validez 
externa), y asignación aleatoria del tratamiento como método de evaluación 
de impacto (para la validez interna). Una evaluación de impacto puede pro- 
ducir estimaciones internamente válidas del impacto mediante una asigna- 
ción aleatoria del tratamiento; sin embargo, si la evaluación se lleva a cabo 
con una muestra no aleatoria de la población, puede que los impactos esti- 
mados no sean generalizables para el conjunto de unidades elegibles. 
Al contrario, si la evaluación utiliza una muestra aleatoria de la población de 
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unidades elegibles, pero el tratamiento no se asigna de manera aleatoria, la 
muestra sería representativa pero el grupo de comparación puede no ser 
válido, lo cual pone en entredicho la validez interna. En algunos contextos, 
puede que los programas se enfrenten a limitaciones que exigen un equilibrio 
entre validez interna y externa. Este es el caso, por ejemplo, del programa 
analizado anteriormente, que tiene como objetivo el 20% inferior de los 
hogares sobre la base del ingreso. Si este programa incorpora a todos los 
hogares por debajo del percentil 15%, pero lleva a cabo una evaluación de 
impacto de asignación aleatoria entre una muestra aleatoria de hogares 
entre los percentiles 15% a 25%, dicha evaluación tendrá validez interna gra- 
cias a la asignación aleatoria: es decir, se conocerá el verdadero impacto en 
el subconjunto de hogares entre los percentiles 15 y 25%. Sin embargo, la 
validez externa de la evaluación de impacto será limitada, dado que los 
resultados no pueden extrapolarse directamente al conjunto de la población 
de beneficiarios, en particular, a los hogares que se encuentren por debajo 
del percentil 15°. 


¿Cuándo puede aplicarse la asignación aleatoria? 


La asignación aleatoria puede utilizarse como regla de asignación de un 
programa en dos escenarios específicos: 


1. Cuando la población elegible es mayor que el número de plazas disponibles 
del programa. Cuando la demanda de un programa supera a la oferta, se 
puede utilizar un sorteo para seleccionar el grupo de tratamiento dentro 
de la población elegible. En este contexto, todas las unidades de la pobla- 
ción tienen la misma probabilidad (o una probabilidad conocida superior 
a 0 e inferior a 1) de ser seleccionadas para el programa. El grupo que 
gana el sorteo es el grupo de tratamiento y el resto de la población a la 
que no se ha ofrecido el programa es el grupo de comparación. Siempre 
que exista una limitación que impida ampliar la escala del programa a 
toda la población, se pueden mantener los grupos de comparación para 
medir los impactos del programa a corto, mediano y largo plazo. En este 
contexto, no hay un dilema ético en mantener indefinidamente un grupo 
de comparación, ya que un subgrupo de la población quedará necesaria- 
mente excluido del programa debido a problemas de capacidad. 


Por ejemplo, el ministerio de Educación desea equipar con bibliotecas a 
las escuelas públicas de todo el país, pero el ministerio de Finanzas solo 
asigna un presupuesto suficiente para cubrir una tercera parte de 
las bibliotecas. Si el ministerio de Educación quiere que todas las escue- 
las públicas tengan las mismas posibilidades de tener una biblioteca, 
organizará un sorteo en el que cada escuela tenga la misma probabilidad 
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(1 en 3) de resultar seleccionada. Las escuelas elegidas en el sorteo 
reciben una nueva biblioteca y constituyen el grupo de tratamiento, y a 
los otros dos tercios de las escuelas públicas del país no se les ofrece la 
biblioteca y se convierten en el grupo de comparación. A menos que se 
asignen más fondos al programa de bibliotecas, seguirá habiendo un 
grupo de escuelas que no recibirá financiamiento para una biblioteca a 
través del programa, y podrá usarse como grupo de comparación para 
medir el contrafactual. 


. Cuando sea necesario ampliar un programa de manera progresiva hasta que 


cubra a toda la población elegible. Cuando un programa se extiende por 
etapas, establecer de forma aleatoria el orden en el que los participantes se 
benefician del mismo ofrece a cada unidad elegible la misma posibilidad 
de recibir tratamiento en la primera fase o en una fase posterior. Siempre 
que no se haya sumado todavía el “último” grupo al programa, este sirve 
como grupo de comparación válido a partir del cual se podrá estimar el 
contrafactual para los que ya se han incorporado. Esta configuración tam- 
bién puede permitir que la evaluación recoja los efectos de una exposición 
diferencial al tratamiento, es decir, el efecto de recibir un programa durante 
un período más o menos prolongado. 


Por ejemplo, supóngase que el ministro de Salud quiere capacitar a los 
15.000 profesionales de enfermería de todo el país en el uso de un nuevo 
protocolo sanitario, pero necesita tres años para capacitarlos atodos. En el 
contexto de una evaluación de impacto, el ministro podría seleccionar de 
manera aleatoria a un tercio de las enfermeras para que reciban capacita- 
ción durante el primer año, un tercio para el segundo año y un tercio para 
el tercer año. Para evaluar el efecto de un programa de capacitación un 
año después de su implementación, el grupo de enfermeras capacitadas 
durante el primer año constituirá el grupo de tratamiento y el grupo de 
enfermeras seleccionadas de modo aleatorio para recibir capacitación 
durante el tercer año sería el grupo de comparación, ya que todavía no se 
habrán expuesto al aprendizaje. 


Cómo asignar aleatoriamente el tratamiento 


Después de haber analizado cómo funciona la asignación aleatoria y por qué 
produce un buen grupo de comparación, se abordarán los pasos para asignar 
con éxito el tratamiento de manera aleatoria. El gráfico 4.3 ilustra este 
proceso. 


El primer paso de la asignación aleatoria consiste en definir las unidades 


elegibles para el programa. Cabe recordar que, dependiendo del programa 
concreto, una unidad podría ser una persona, un centro de salud, una 
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Gráfico 4.3 Pasos para la asignación aleatoria del tratamiento 


1. Definir las unidades 2. Seleccionar la muestra 3. Asignar aleatoriamente al 
elegibles de evaluación tratamiento 


A No elegible Elegible 


escuela, una empresa o incluso todo un pueblo o una municipalidad. La 
población de unidades elegibles está compuesta por aquellos para los cuales 
interesa conocer el impacto de un programa. Por ejemplo, si se está imple- 
mentando un programa de formación para los maestros de escuela primaria 
en zonas rurales, los maestros de escuela primaria de zonas urbanas o los 
profesores de secundaria no formarían parte del conjunto de unidades 
elegibles. 

Una vez que se ha determinado la población de unidades elegibles, habrá 
que comparar el tamaño del grupo con el número de observaciones requeri- 
das para la evaluación. El tamaño de la muestra de la evaluación se establece 
mediante cálculos de la potencia y se basa en el tipo de preguntas a las que el 
evaluador desearía que se respondiera (ver capítulo 15). Si la población elegi- 
ble es pequeña, quizás haya que incluir todas las unidades elegibles en la eva- 
luación. Por el contrario, si hay más unidades elegibles de las que se requiere 
para la evaluación, entonces el segundo paso consiste en seleccionar una 
muestra de unidades a partir de la población que se incluirá en la muestra 
de evaluación. 

Este segundo paso responde sobre todo a la necesidad de limitar los 
costos de la recopilación de datos. Si se observa que los datos de los sistemas 
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de monitoreo existentes se pueden usar para la evaluación, y que esos 
sistemas abarcan al conjunto de unidades elegibles, tal vez no sea necesario 
elaborar una muestra distinta de la evaluación. Sin embargo, imagínese una 
evaluación en la que la población de unidades elegibles comprende decenas 
de miles de maestros de todas las escuelas del país, y que se necesita recopilar 
información detallada sobre los conocimientos y las prácticas pedagógicas 
delos maestros. Entrevistar y evaluar a todos los docentes del país sería pro- 
hibitivamente oneroso e inviable en términos logísticos. A partir de los cál- 
culos de potencia, puede que el evaluador decida que, para responder a su 
pregunta de interés, es suficiente contar con una muestra de 1.000 maestros 
distribuidos en 200 escuelas. Siempre que la muestra de docentes sea repre- 
sentativa del conjunto de la población de maestros, cualquier resultado de la 
evaluación será externamente válido y se puede generalizar al resto de los 
docentes del país. La recopilación de datos sobre esta muestra de 1.000 
maestros en 200 escuelas será mucho menos costosa que recolectar datos 
sobre todos los docentes de todas las escuelas del país. 

El tercer paso consiste en configurar los grupos de tratamiento y de 
comparación a partir de las unidades de la muestra de la evaluación, mediante 
la asignación aleatoria. En los casos en que la asignación aleatoria tenga que 
llevarse a cabo en un foro público, por ejemplo en la televisión, puede que sea 
necesario utilizar una técnica sencilla, como lanzar una moneda a la suerte 
o sacar los nombres de una caja. Los siguientes ejemplos suponen que la 
unidad de aleatorización es una persona individual, aunque la misma lógica 
se aplica a la aleatorización de más unidades agregadas de observación, 
como escuelas, firmas o comunidades: 


1. Si se quiere asignar el 50% de los individuos al grupo de tratamiento y 
50% al grupo de comparación, hay que lanzar la moneda para cada per- 
sona. Hay que decidir con antelación cuál cara de la moneda asignará una 
persona al grupo de tratamiento. 


2. Si se quiere asignar una tercera parte de la muestra de la evaluación al 
grupo de tratamiento, se puede tirar un dado para cada persona. Antes, hay 
que decidir una regla, por ejemplo, si el dado muestra 1 o 2, el individuo 
será asignado al grupo de tratamiento, mientras que si arroja un 3, 4, 5 0 6 
el individuo será derivado al grupo de comparación. El dado se tiraría una 
vez para cada persona en la muestra de evaluación, y se la asignaría sobre 
la base del número del dado. 


3. Escribir los nombres de todos los individuos en trozos de papel de igual 
tamaño y forma. Plegar los papeles de modo que no se puedan leer los 
nombres y mezclarlos de manera conveniente en una caja o en algún otro 
recipiente. Antes de empezar a sacar los nombres, debe decidirse la regla, 
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es decir, cuántos trozos de papel se extraerán, y que extraer un nombre 
significa asignar a esa persona al grupo de tratamiento. Una vez que la 
regla esté clara, se debe solicitar a alguien del público (una persona 
imparcial, como un niño) que extraiga tantos trozos de papel como parti- 
cipantes se requiera en el grupo de tratamiento. 


Si tienen que asignarse muchas unidades (por ejemplo, más de 100), utilizar 
enfoques sencillos como los descritos requerirá demasiado tiempo y habrá 
que utilizar un proceso automatizado. Para ello, primero habrá que decidir 
una regla de modo que se asignen los participantes sobre la base de núme- 
ros aleatorios. Por ejemplo, si se deben asignar 40 de 100 unidades de la 
muestra de evaluación al grupo de tratamiento, puede decidirse asignar 
esas 40 unidades con los números aleatorios más altos al grupo de trata- 
miento y el resto al grupo de comparación. Para implementar la asignación 
aleatoria, se asignará un número al azar a cada unidad en la muestra de 
evaluación, utilizando un generador aleatorio de números en una hoja de 
cálculo, o en un programa estadístico especializado (gráfico 4.4), y se utili- 
zará la regla ya definida para formar los grupos de tratamiento y compara- 
ción. Es importante decidir la regla antes de generar los números al azar. 


Gráfico 4.4 Asignación aleatoria del tratamiento mediante hoja de cálculo 


FILE HOME INSERT PAGE LAYOUT FORMULAS DATA REVIEW VIEW DEVELOPER MACROS JIVE AC 


a [Colibri -Ju -|A K = wrap Text A General J Ha 
A EP wep >> He 
Paste = B Iu- &- &- A- ES] Merge & Center ~ Share $-%> 38 8 Conditio 
Protected Formattin 
Clipboard sx Font a Alignment m Protection Number ña 
F1 =|: f 
A | B Cc L ` D E F G H 
1 Random number Between O and 1. 
2 ¡Goal Assign 50% of evaluation sample to treatment group. 
[Rule If random number is above 0.5: assign person to treatment group; 


otherwise: assign person to comparison group. 


Final random 


Unit identification Name Random number* Assignment 

5 number** 

6 1001 Ahmed 0.7698674 0.479467635 0 
7 1002 Elisa 0.4054534 0.945729597 1 
8 1003 Anna 0.3584427 0.933658744 1 
9 1004 Jung 0.5010306 0.383305299 0 
10 1005 Tuya 0.8799600 0.102877439 0 
11 1006 Nilu 0.1764322 0.228446592 0 
12 | 1007 Roberto 0.0030776 0.444725231 0 
13 1008 Priya 0.7512858 0.817004226 a 
14 1009 Grace 0.1331390 0.955775449 1 
45 1010 Fathia 0.8735385 0.873459852 1 
16 1011 John 0.0089322 0.211028126 0 
17 1012 Alex 0.0762848 0.574082414 1 
18 1013 Nafula 0.5760701 0.151608805 0 


19 |* type the formula =RAND(). Note that the random numbers in Column C are volatile: they change everytime you do a calculation. 
20 |** Copy the numbers in column C and "Paste Special>Values” into Column D. Column D then gives the final random numbers. 
21 |*** type the formula =IF(C{row number}>0.5,1,0) 
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De otra manera, puede que el evaluador se vea tentado de usar una regla 
basada en los números aleatorios que ve, lo que invalidaría la asignación 
aleatoria. 

La lógica en que se fundamenta el proceso automatizado no es diferente 
de la asignación aleatoria basada en lanzar una moneda o extraer nombres 
de un sombrero. Se trata de un mecanismo que asigna al azar si cada unidad 
pertenece al grupo de tratamiento o de comparación. 

Al utilizar un sorteo público, dados o números al azar generados por 
computador, es importante documentar el proceso para asegurar que sea 
transparente. En primer lugar, eso significa que la regla de asignación debe 
decidirse con antelación y comunicarse al público. En segundo lugar, el eva- 
luador debe ceñirse a la regla una vez que se extraen los números al azar. En 
tercer lugar, debe demostrarse que el proceso era realmente aleatorio. En el 
caso de los sorteos y el lanzamiento de dados, se puede grabar el proceso en 
video; la asignación mediante números al azar generados por computador 
requiere que se presente un registro de los cómputos, de modo que el pro- 
ceso pueda ser auditado." 


¿A qué nivel se lleva a cabo una asignación aleatoria? 


La asignación aleatoria puede llevarse a cabo en diversos niveles: indivi- 
dual, hogares, empresas, comunidades o regiones. En general, el nivel en el 
que se asignan aleatoriamente las unidades a los grupos de tratamiento y de 
comparación dependerá en gran medida de dónde y cómo se implemente el 
programa. Por ejemplo, si se aplica un programa sanitario a nivel de las 
clínicas de salud, primero se elegirá una muestra aleatoria de dichas clínicas 
y después se asignará algunas de ellas al grupo de tratamiento y otras al 
grupo de comparación. 

Cuando el nivel de asignación aleatoria es superior o más agregado, como 
el nivel regional o provincial, puede resultar difícil realizar una evaluación 
de impacto, porque el número de regiones o provincias en la mayoría de los 
países no es suficientemente grande para obtener grupos equilibrados de 
tratamiento y de comparación. Si un país tiene únicamente seis provincias, 
solo podrá haber tres de ellas en el grupo de tratamiento y tres en el grupo 
de comparación, lo cual es insuficiente para asegurar que las características 
de referencia de los grupos de tratamiento y comparación estén equilibra- 
das. Además, para que la asignación aleatoria genere estimaciones de 
impacto no sesgadas, es importante garantizar que los factores externos 
dependientes del tiempo (como el clima o los ciclos de las elecciones locales) 
sean en promedio los mismos en los grupos de comparación y de trata- 
miento. A medida que el nivel de asignación aumenta, se vuelve cada vez 
más improbable que estos factores estén equilibrados entre ambos grupos. 


La evaluación de impacto en la práctica 


Por ejemplo, la lluvia es un factor externo dependiente del tiempo porque 
varía sistemáticamente de un año al siguiente. En una evaluación del sector 
agrícola, convendría asegurarse de que las sequías afecten por igual a las 
provincias que se encuentran en el grupo de tratamiento y en el de compa- 
ración. Con solo tres provincias en los grupos de tratamiento y comparación, 
este equilibrio podría perderse con facilidad. Por otro lado, si se rebajara la 
unidad de selección al nivel subprovincial, como una municipalidad, es más 
probable que la lluvia esté equilibrada entre los grupos de tratamiento y 
comparación a lo largo del tiempo. 

Asimismo, a medida que el nivel de la asignación aleatoria disminuye 
-por ejemplo, a nivel individual o del hogar- aumentan las probabilidades 
de que el grupo de comparación se vea afectado de forma involuntaria por 
el programa. Hay dos tipos particulares de riesgos que se deben tener en 
cuenta cuando se escoge el nivel de asignación, a saber: los efectos de 
derrame y el cumplimiento imperfecto. El efecto de derrame se produce 
cuando el grupo de tratamiento influye de forma directa o indirecta en los 
resultados del grupo de comparación (o viceversa). Por su parte, el cumpli- 
miento imperfecto tiene lugar cuando algunos miembros del grupo de 
comparación participan en el programa o algunos miembros del grupo 
de tratamiento no lo hacen (véase un análisis más detallado de estos con- 
ceptos en el capítulo 9). 

Tener en cuenta el nivel de asignación aleatoria de manera rigurosa 
puede minimizar el riesgo de derrame y de cumplimiento imperfecto. Las 
personas pueden asignarse a grupos o agrupaciones, como los alumnos de 
una escuela o los hogares en una comunidad, para minimizar los flujos de 
información y los contactos entre individuos en los grupos de tratamiento 
y comparación. Para reducir la contaminación, el nivel de asignación 
también debería escogerse según la capacidad del programa para mantener 
una clara diferencia entre grupos de tratamiento y comparación a lo largo 
de la intervención. Si el programa comprende actividades a nivel comuni- 
tario, puede que sea difícil evitar exponer a todos los individuos de esa 
comunidad al programa. 

Un ejemplo bien conocido de efecto de derrame es la administración de 
medicamentos antiparasitarios a los niños. Si en el grupo de tratamiento 
hay hogares situados cerca de un hogar del grupo de comparación, los 
niños de los hogares de comparación pueden verse afectados positivamente 
por un efecto de derrame del grupo de tratamiento, porque se reducirán sus 
probabilidades de contraer parásitos procedentes de sus vecinos (Kremer y 
Miguel, 2004). Para aislar el impacto del programa, los hogares de trata- 
miento y comparación deben estar situados suficientemente lejos unos de 
otros de modo de evitar ese tipo de derrames. Sin embargo, a medida que la 
distancia entre los hogares aumente, se volverá más oneroso implementar 
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el programa y, a la vez, administrar las encuestas. Como regla general, si se 
pueden descartar los efectos de derrame de forma razonable, es preferible 
llevar a cabo una asignación aleatoria del tratamiento en el nivel más 
bajo posible de implementación del programa, lo cual garantizará que el 
número de unidades de los grupos de tratamiento y comparación sea el 
mayor posible. 


La estimación del impacto bajo asignación aleatoria 


Una vez que se haya seleccionado una muestra de evaluación aleatoria y 
asignado el tratamiento de manera aleatoria, es bastante sencillo estimar el 
impacto del programa. Después de que el programa ha funcionado durante 
un tiempo, tendrán que medirse los resultados de las unidades de trata- 
miento y de comparación. El impacto del programa es sencillamente la dife- 
rencia entre el resultado promedio (Y) para el grupo de tratamiento y 
el resultado promedio (Y) para el grupo de comparación. Por ejemplo, en 
el caso genérico que se presenta en el gráfico 4.5, el resultado promedio 
del grupo de tratamiento es 100, y el resultado promedio del grupo de 
comparación es 80, por lo que el impacto del programa equivale a 20. Por 
ahora, se supondrá que todas las unidades en el grupo de tratamiento son 
efectivamente tratadas y que ninguna unidad del grupo de comparación es 
tratada. En el ejemplo del programa de formación de los profesores, todos 
los profesores asignados al grupo de tratamiento reciben la formación y nin- 
guno de los profesores del grupo de comparación la recibe. En el capítulo 5, 
se analiza el escenario (más realista) donde el cumplimiento es incompleto, 
es decir, donde menos del 100% de las unidades en el grupo de tratamiento 
realmente participa en la intervención o algunas unidades de comparación 
tienen acceso al programa. En este caso, todavía se puede obtener una esti- 
mación no sesgada del impacto del programa mediante la asignación aleato- 
ria, aunque la interpretación de los resultados variará. 


Gráfico 4.5 Estimación del impacto con la asignación aleatoria 
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Lista de verificación: la asignación aleatoria 


La asignación aleatoria es el método más robusto para estimar los contrafac- 
tuales; se considera el sello de oro de la evaluación de impacto. Para estimar 
la validez de esta estrategia de evaluación en un determinado contexto, 
deberían contemplarse algunas pruebas básicas. 


v ¿Están equilibradas las características de la línea de base? Deben com- 
pararse las características de línea de base del grupo de tratamiento y 
del grupo de comparación.* 


Y” ¿Se ha producido algún incumplimiento con la asignación? Se debe veri- 
ficar si todas las unidades elegibles han recibido tratamiento y que no 
haya unidades no elegibles que hayan recibido tratamiento. Si ha habido 
incumplimiento, tendrá que utilizarse el método de variable instrumen- 
tal (véase el capítulo 5). 


v ¿Son suficientemente numerosas las unidades en los grupos de trata- 
miento y comparación? Si no, sería necesario combinar la asignación 
aleatoria con diferencias en diferencias (véase el capítulo 7). 


Y” ¿Hay algún motivo para creer que los resultados en algunas unidades de 
alguna manera dependen de la asignación de otras unidades? ¿Podría 
haber un impacto del tratamiento en las unidades del grupo de compara- 
ción? (véase el capítulo 9). 


J » Evaluación del impacto del HISP con la asignación 
=~ aleatoria 


Volvamos al ejemplo del Programa de Subsidios de Seguros de Salud 
(HISP, por sus siglas en inglés, Health Insurance Subsidy Program) y veri- 
fiquemos qué significa asignación aleatoria en este contexto. Recuérdese 
que se intenta estimar el impacto de un programa a partir de una prueba 
piloto que comprende 100 pueblos de tratamiento. 

Después de llevar a cabo dos evaluaciones de impacto utilizando 
estimaciones potencialmente sesgadas del contrafactual en el 
capítulo 3 (con recomendaciones de políticas contradictorias), usted 
decide volver a repensar cómo obtener una estimación más precisa del 
contrafactual. Después de consultar con su equipo de evaluación, está 
convencido de que construir una estimación válida del contrafactual 
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requerirá identificar un grupo de pueblos que sean lo más parecidos 
posible a los 100 pueblos del tratamiento en todos los sentidos, con la 
excepción de que un grupo participó en el HISP y el otro no. Dado que 
el HISP se implementó como plan piloto, y que los 100 pueblos de 
tratamiento fueron seleccionados de forma aleatoria entre los pueblos 
rurales en todo el país, usted observa que los pueblos del tratamiento 
deberían, en promedio, tener las mismas características que los pue- 
blos rurales no tratados en todo el país. Por lo tanto, se puede estimar 
el contrafactual de una manera válida, midiendo los gastos en salud de 
los hogares elegibles en los pueblos rurales que no participaron del 
programa. 

Afortunadamente, en el momento de las encuestas de línea de base y 
de seguimiento, se recopilaron datos de otros 100 pueblos rurales a los 
que no se ofreció el programa. Esos 100 pueblos también fueron selec- 
cionados de manera aleatoria entre la población de los pueblos rurales 
en el país. Por lo tanto, la manera en que fueron escogidos los dos gru- 
pos de pueblos garantiza que tienen características estadísticamente 
idénticas, excepto que los 100 pueblos de tratamiento se inscribieron 
en el HISP y los 100 pueblos del grupo de comparación no fueron 
destinatarios del programa. Se ha producido una asignación aleatoria 
del tratamiento. 

Dada la asignación aleatoria del tratamiento, usted confía en que 
ningún factor externo, excepto el HISP, explicaría las diferencias en los 
resultados entre los pueblos de tratamiento y de comparación. Para 
validar este supuesto, usted comprueba si los hogares elegibles en los 
pueblos de tratamiento y comparación tienen características similares 
en la línea de base, como se muestra en el cuadro 4.1. 

Usted observa que las características promedio de los hogares en los 
pueblos de tratamiento y de comparación son, de hecho, muy similares. 
Las únicas diferencias estadísticamente significativas son las relativas 
al número de años de escolarización del jefe de hogar y la distancia 
al hospital, y esas diferencias son pequeñas (solo 0,16 años, o menos 
del 6% de los años de escolarización promedio del grupo de compara- 
ción, y 2,91 km, o menos del 3% de la distancia promedio al hospital del 
grupo de comparación). Incluso con un experimento aleatorio en una 
muestra grande, se puede esperar un pequeño número de diferencias 
debido al azar y a las propiedades del test estadístico. De hecho, al 
utilizar niveles de significancia estándar del 5%, podía esperarse que 
alrededor del 5% de las diferencias en las características sean estadísti- 
camente significativas, aunque no se esperaría que la magnitud de estas 
diferencias fuese grande. 
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Cuadro 4.1 Evaluación del HISP: balance entre los pueblos de tratamiento 
y de comparación en la línea de base 


Pueblos de Pueblos de 
Características tratamiento comparación 
de los hogares (N = 2964) (N = 2664) Diferencia t-estadístico 
Gasto en salud 
(dólares de 
EE.UU. anuales 
per cápita) 14,49 14,57 0,08 0,73 
Edad del jefe 
de hogar (años) 41,66 42,29 0,64 -1,69 
Edad del 
cónyuge (años) 36,84 36,88 0,04 0,12 
Nivel de 
estudios del 
jefe de hogar 
(años) 2,97 2,81 0,16* 2,30 
Nivel de 
estudios del 
cónyuge (años) 2/0 2,67 0,03 0,43 
Jefe de hogar 
es mujer = 1 0,07 0,08 —0,01 0,58 
Jefe de hogar 
es indígena = 1 0,43 0,42 0,01 0,69 
Número de 
miembros del 
hogar 57 5: 71 0,06 WZ 
Tiene suelo de 
tierra O72 0,73 —0,01 1,09 
Tiene baño = 1 0,57 0,56 0,01 1,04 
Hectáreas de 
terreno 1,68 1,772 —0,04 0,57 
Distancia a un 
hospital (km) 109,20 106,29 2 9] 257 


** Significativo al nivel del 1%. 


Con la validez del grupo de comparación ya establecida, ahora 
se puede estimar el contrafactual como los gastos promedio en salud 
de los hogares elegibles en los 100 pueblos del grupo de comparación. 
El cuadro 4.2 muestra los gastos promedio en salud de los hogares 
elegibles en los pueblos de los grupos de tratamiento y de compara- 
ción. Nótese que en la línea de base los gastos promedio en salud de los 
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Cuadro 4.2 Evaluación del HISP según la asignación aleatoria 
(comparación de medias) 


Tratamiento Comparación Diferencia t-estadístico 


Línea de base: 
gasto en salud 
de los hogares 
(en dólares de 
ee UIU)) 14,49 14,57 —0,08 —0,73 


Encuesta de 

seguimiento: 

gasto en salud 

de los hogares 

(en dólares de 

EE.UU.) 784 1798 —10,14** -49,15 


** Significativo al nivel del 1%. 


hogares de los grupos de tratamiento y comparación no son estadisti- 
camente diferentes, como debería esperarse con una asignación 
aleatoria. 

Ahora que se cuenta con un grupo de comparación válido, se puede 
encontrar el impacto del HISP sencillamente calculando la diferencia 
entre los gastos directos promedio en salud de los hogares en los pueblos 
de tratamiento y de comparación asignados de forma aleatoria en el 
periodo de seguimiento. El impacto es una reducción de US$10,14 a lo 
largo de dos años. Replicar este resultado mediante un análisis de regre- 
sión lineal arroja el mismo resultado, como se observa en el cuadro 4.3. 
Por último, mediante un análisis de regresión multivariante que controla 
por otras características observables de los hogares de la muestra, se 
observa que el programa ha reducido los gastos de los hogares inscritos 
en US$10,01, a lo largo de dos años, lo cual es casi idéntico al resultado de 
la regresión lineal. 

Con la asignación aleatoria, podemos estar seguros de que no hay 
factores que sean sistemáticamente diferentes entre los grupos de trata- 
miento y comparación que también puedan explicar la diferencia en 
gastos en salud. Ambos conjuntos de pueblos comenzaron con caracterís- 
ticas promedio muy similares y han estado expuestos al mismo conjunto 
de políticas y programas nacionales durante los dos años de tratamiento. 
Por lo tanto, el único motivo plausible por el que los hogares pobres en las 
comunidades de tratamiento tienen gastos inferiores a los de los hogares 
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en los pueblos de comparación es que el primer grupo fue destinatario 
del programa de seguro de salud y el otro grupo no lo fue. 


Cuadro 4.3 Evaluación del HISP según la asignación aleatoria 
(análisis de regresión) 


Regresión 
Regresión lineal lineal multivariante 
Impacto estimado sobre ee 
el gasto en salud de los -10,14 -10,01 
hogares (0,39) (0,34) 


Nota: Los errores estándares están entre paréntesis. 


** Significativo al nivel del 1%. 


BA 
` Pregunta HISP 3 


A. ¿Por qué la estimación de impacto obtenida mediante una regresión 
lineal multivariante se mantiene básicamente constante cuando se 
controla por otros factores, al cotejarse con la regresión lineal simple 
y la comparación de medias? 

B. Sobre la base del impacto estimado con el método de asignación alea- 
toria, ¿debería ampliarse el HISP a nivel nacional? 


Recursos adicionales 


e Para material de apoyo para este capitulo e hipervínculos de recursos 
adicionales, se recomienda consultar el sitio web de la Evaluación de 
Impacto en la Práctica (http://www.worldbank.org/ieinpractice). 


e Para más recursos sobre las evaluaciones de impacto con asigna- 
ción aleatoria, véase el portal de evaluación del BID (www.iadb 
.org/portalevaluacion). 


e Para un resumen completo de las evaluaciones de impacto con asigna- 
ción aleatoria, véase el siguiente libro y el sitio web correspondiente: 


> R. Glennerster y K. Takavarasha (2013), Running Randomized Evaluations: 
A Practical Guide. Princeton, NJ: Princeton University Press (http:// 
runningres.com/). 
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e Para un debate en profundidad sobre cómo encontrar el equilibrio entre 
grupos de tratamiento y de comparación mediante la asignación aleato- 
ria, véase: 


> M. Bruhn y D. McKenzie (2009), “In Pursuit of Balance: Randomization in 
Practice in Development Field Experiments.” American Economic Journal: 
Applied Economics 1(4): 200-32. 


e Para un ejemplo de asignación aleatoria publica para una evaluación en 
Camerún, véase el World Bank Impact Evaluation Toolkit, Módulo 3 
(wwwworldbank.org/health/impactevaluationtoolkit). 


Notas 


1. La asignación aleatoria del tratamiento también suele denominarse ensayo 
aleatorio controlado, evaluaciones aleatorias, evaluaciones experimentales y 
experimentos sociales, entre otras denominaciones. Estrictamente hablando, un 
experimento no tiene que identificar impactos mediante asignaciones aleatorias, 
pero los evaluadores suelen utilizar el término “experimento” solo cuando la 
evaluación recurre a la asignación aleatoria. 

2. Nótese que esta probabilidad no necesariamente significa una probabilidad del 
50% de ganar el sorteo. En la práctica, la mayoría de las evaluaciones con 
asignación aleatoria darán a cada unidad elegible una probabilidad de selección 
determinada, de manera que el número de ganadores (tratamientos) sea igual al 
total de beneficios disponibles. Por ejemplo, si un programa tiene suficientes 
fondos para servir solo a 1.000 comunidades de una población de 10.000 
comunidades elegibles, cada comunidad tendrá una probabilidad de una entre 
10 de ser seleccionada para el tratamiento. La potencia estadística (un concepto 
analizado más en detalle en el capítulo 15) se maximizará cuando la muestra de 
evaluación se divida por igual entre los grupos de tratamiento y comparación. 
En el ejemplo de este caso, para un tamaño total de la muestra de 2.000 
comunidades, la potencia estadística se maximizará si se seleccionan las 
1.000 comunidades de tratamiento y una submuestra de 1.000 comunidades 
de comparación, en lugar de tomar una muestra aleatoria simple del 20% de las 
10.000 comunidades originales elegibles (lo que produciría una muestra de 
evaluación de alrededor de 200 comunidades de tratamiento y 1.800 
comunidades de comparación). 

3. Por ejemplo, los programas de vivienda que otorgan viviendas subvencionadas 
suelen utilizar los sorteos para seleccionar a los participantes del programa. 
Numerosas escuelas subvencionadas en Estados Unidos seleccionan a los 
postulantes mediante sorteo. 

4. Además de crear grupos que tienen características promedio similares, la 
asignación aleatoria también crea grupos que tienen distribuciones similares. 

5. La mayoría de los programas informáticos permiten establecer un número 
aleatorio para que los resultados de la asignación aleatoria sean plenamente 
transparentes y replicables. 
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6. Como se ha mencionado, por motivos estadísticos no todas las características 
observables deben ser similares en los grupos de tratamiento y de comparación 
para que la aleatorización sea exitosa. Incluso cuando las características de los 
dos grupos son verdaderamente idénticas, se puede esperar que el 5% de las 
mismas aparecerán con una diferencia estadísticamente significativa cuando se 
utiliza un intervalo de confianza de 95% para la prueba. Las variables en cuyo 
caso se presenta una diferencia grande entre los grupos de tratamiento y de 
comparación son especialmente preocupantes. 
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CAPÍTULO 5 


Las variables instrumentales 


La evaluación de programas cuando no todos 
cumplen su asignación 


En el análisis de la asignación aleatoria del capítulo 4, se asume que el admi- 
nistrador del programa tiene la facultad para asignar la intervención a los gru- 
pos de tratamiento y de comparación, y que los asignados al tratamiento 
participan en el programa y los asignados al grupo de comparación no lo hacen. 
En otras palabras, las observaciones asignadas a los grupos de tratamiento y 
de comparación cumplen su asignación. El pleno cumplimiento se logra con 
mayor frecuencia en pruebas de laboratorio o en ensayos médicos, donde el 
investigador puede asegurar, primero, que todos los sujetos del grupo de tra- 
tamiento reciban un determinado tratamiento y, segundo, que no lo reciba 
ninguno de los sujetos del grupo de comparación.' De manera más general, en 
el capítulo 4 se asume que los programas pueden determinar quiénes son 
los participantes potenciales, excluyendo a algunos y asegurando que otros 
participen. 

Sin embargo, en los programas sociales del mundo real, puede que sea 
poco realista pensar que el administrador del programa será capaz de 
asegurar un cumplimiento pleno de la asignación del grupo. Aun así, nume- 
rosos programas permiten a los participantes potenciales elegir si se inscri- 
ben o no y, por lo tanto, no pueden excluir a participantes potenciales que 
quieran inscribirse. Además, algunos programas tienen un presupuesto lo 
suficientemente grande para administrar la intervención de forma inmediata 
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Concepto clave 


El método de variables 
instrumentales se 
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a toda la población elegible, de modo que no sería ético asignar aleatoria- 
mente a las personas a los grupos de tratamiento y de comparación, y excluir 
a participantes potenciales en aras de la evaluación. Por ende, se necesita una 
manera alternativa de evaluar el impacto de este tipo de programas. 

El método denominado variables instrumentales (VI) puede resultar útil 
para evaluar los programas con cumplimiento imperfecto, inscripción 
voluntaria o cobertura universal. En general, para estimar los impactos, el 
método VI depende de una fuente externa de variación para determinar el 
estatus del tratamiento. El método puede aplicarse a un amplio espectro de 
situaciones, más allá de la evaluación de impacto. Se puede pensar en una VI 
como algo que escapa al control del individuo y que influye en su probabili- 
dad de participar en un programa pero que, de otra manera, no está asociado 
con las características de dicho individuo. 

En este capítulo, se analizará cómo esta variación externa, o VI, puede 
ser generada por las reglas de funcionamiento del programa que está bajo 
el control de los encargados del mismo o de los equipos de evaluación. Para 
producir evaluaciones de impacto válidas, esta fuente externa de variación, 
o VI, debe satisfacer un cierto número de condiciones, las cuales se aborda- 
rán detenidamente en este capítulo. Se ha observado que la asignación 
aleatoria del tratamiento, como se señaló en el capítulo 4, es un muy 
buen instrumento y que satisface las condiciones necesarias. El método VI 
se utilizará en dos aplicaciones comunes de la evaluación de impacto. 
Primero, se usará como una extensión del método de asignación aleatoria 
cuando no todas las unidades cumplen con su asignación de grupo. 
En segundo lugar, se recurrirá a él para diseñar una promoción aleatoria 
del tratamiento, un método de evaluación que puede funcionar en algunos 
programas que ofrecen inscripción voluntaria o cobertura universal. 
El recuadro 5.1 ilustra un uso creativo del método de VI. 


Tipos de estimaciones de impacto 


Una evaluación de impacto siempre estima el impacto de un programa com- 
parando los resultados de un grupo de tratamiento con la estimación de un 
contrafactual obtenido de un grupo de comparación válido. En el capítulo 4 
se asumía que había pleno cumplimiento en el tratamiento, es decir, que 
todas las unidades a las que se ofrecía un programa se inscribían en él y que 
ninguna de las unidades del grupo de comparación recibía el programa. En 
este escenario, se estimaba el efecto promedio del tratamiento para la 
población. 

En la evaluación de los programas en el mundo real, donde los 
participantes potenciales pueden decidir si se inscriben o no, el pleno 
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Recuadro 5.1: El uso de variables instrumentales para evaluar el 
impacto de Plaza Sésamo en la preparación escolar 


El programa de televisión Plaza Sésamo, 
destinado a preparar a los niños en edad 
preescolar para la escuela primaria, obtuvo 
rápidamente la aclamación de la crítica y gozó 
de gran popularidad al emitirse por primera vez 
en 1969. Desde entonces lo han visto millones 
de niños. En 2015 Kearney y Levine se 
propusieron estudiar los impactos a largo plazo 
del programa en una evaluación retrospectiva 
realizada en Estados Unidos. Aprovechando 
las limitaciones de la tecnología de las 
emisiones televisivas durante los primeros 
años del programa, los investigadores utilizaron 
un enfoque de variables instrumentales (VI). 
En los primeros años, el programa no 
llegaba a todos los hogares. Solo se emitía 
en los canales de frecuencia ultra alta (UHF). 
Así, alrededor de solo dos tercios de la 
población de Estados Unidos vivía en zonas 
con acceso al programa. Por lo tanto, 
Kearney y Levine (2015) utilizaron la distancia 


Fuente: Kearney y Levine (2015). 


entre los hogares y la antena de televisión 
más cercana que transmitiera UHF como 
instrumento de participación en el programa. 
Los investigadores sostenían que, dado que 
las antenas de televisión estaban construidas 
en lugares escogidos por el gobierno -antes 
de que Plaza Sésamo comenzara a ser 
emitido- la variable no estaría relacionada 
con las características del hogar ni con 
cambios en el resultado. 

La evaluación encontró resultados 
positivos en la preparación escolar de los 
niños en edad preescolar. En las zonas con 
recepción de la señal de televisión UHF 
cuando el programa comenzó, los niños 
tenían más probabilidades de cursar la 
escuela primaria a la edad adecuada. Este 
efectofue notable en los niños afroamericanos 
y en los niños no hispanos, en los varones y 
en los pequeños de zonas económicamente 
desfavorecidas. 


cumplimiento es menos común que en contextos como los experimentos de 
laboratorio. En la práctica, los programas suelen ofrecer tratamiento a un 
grupo específico, y algunas unidades participan y otras no. En este caso, sin 
pleno cumplimiento, las evaluaciones de impacto pueden estimar el efecto 
de ofrecer un programa o el efecto de participar en el programa. 

La intención de tratar (ITT, por sus siglas en inglés, intention-to-treat) 
es un promedio ponderado de los resultados de los participantes y no 
participantes en el grupo de tratamiento versus el resultado promedio 
del grupo de comparación. Es importante en aquellos casos en los que 
se intenta determinar el impacto promedio de ofrecer un programa y la 
inscripción en el grupo de tratamiento es voluntaria. En cambio, puede 
que también se desee conocer el impacto de un programa en el grupo 
de individuos a los que se ofrece el programa y que realmente participan. 
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Concepto clave 


La intención de tratar 
(ITT) estima la 
diferencia en los 
resultados entre las 
unidades asignadas al 
grupo de tratamiento y 
las unidades 
asignadas al grupo de 
comparación, 
independientemente 
de si las unidades 
asignadas al grupo de 
tratamiento reciben en 


efecto el tratamiento. 


Concepto clave 


El tratamiento en los 
tratados (TOT) estima 
la diferencia en los 
resultados entre las 
unidades que 
realmente reciben el 
tratamiento y el grupo 
de comparación. 
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Este impacto estimado se denomina tratamiento en los tratados (TOT, 
por sus siglas en inglés, treatment-on-the-treated). La ITT y el TOT serán 
iguales cuando haya pleno cumplimiento. Más adelante se volverá sobre 
las diferencias entre ambos, pero ahora se presentará un ejemplo para 
ilustrar estos conceptos. 

Considérese el Programa de Subsidios de Seguros de Salud (HISP, por sus 
siglas en inglés), que se ha analizado en los capítulos anteriores. Debido a 
consideraciones operativas y para minimizar los efectos de derrame, la uni- 
dad de asignación del tratamiento elegida por el gobierno es el centro 
poblado. Los hogares de un centro poblado de tratamiento (las circunscrip- 
ciones donde se ofrece el programa de seguro de salud) pueden inscribirse 
de forma voluntaria para un subsidio de seguro de salud, mientras que los 
hogares de las comunidades de comparación no pueden. A pesar de que 
todos los hogares de los pueblos de tratamiento son elegibles para inscri- 
birse en el programa de seguro de salud, puede que una parte de los mismos 
-por ejemplo, el 10%- decida no hacerlo (quizá porque ya tienen un seguro 
a través de sus empleos, porque están sanos y no prevén la necesidad de cui- 
dados sanitarios, o por muchos otros motivos). 

En este escenario, el 90% de los hogares del pueblo de tratamiento 
decide inscribirse en el programa y recibe los servicios que este ofrece. La 
estimación de ITT se obtendría comparando el resultado promedio de 
todos los hogares a los que se ofreció el programa —es decir, el 100% de los 
hogares de los centros poblados de tratamiento- con el resultado promedio 
en los pueblos de comparación (donde no se ha inscrito ningún hogar). En 
cambio, el TOT se puede ver como el impacto estimado para el 90% de los 
hogares de las circunscripciones de tratamiento que se inscribieron en el 
programa. Cabe señalar que el impacto del TOT no es necesariamente el 
mismo que el impacto que se obtendría para el 10% de los hogares de los 
pueblos de tratamiento que no se inscribieron, en caso de que se inscriban. 
Esto es debido a que los individuos que participan en un programa cuando 
el mismo es ofrecido pueden ser distintos a los individuos a los que se ofrece 
el programa pero que deciden no inscribirse. Por ello, los efectos del trata- 
miento “local” no pueden extrapolarse directamente de un grupo a otro. 


El cumplimiento imperfecto 


Como ya se ha señalado, en los programas sociales del mundo real, el pleno 
cumplimiento con los criterios de selección de un programa (y, por ende, la 
adhesión a la condición de tratamiento o comparación) es deseable, y los 
responsables de las políticas y los equipos de evaluación por igual suelen 
intentar acercarse lo más posible a ese ideal. Sin embargo, en la práctica, no 
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siempre se consigue un cumplimiento del 100% de las asignaciones a los 
grupos de tratamiento y comparación, a pesar de los esfuerzos del encargado 
del programa y del equipo de evaluación. A continuación, se presentarán 
diferentes casos que pueden ocurrir y se debatirán las implicaciones para 
los métodos de evaluación que se pueden utilizar. Para empezar, hay que 
subrayar que la mejor solución para el cumplimiento imperfecto consiste 
sencillamente en evitarlo. En este sentido, los administradores del programa 
y los responsables de las políticas deberían intentar que el cumplimiento sea 
lo más alto posible en el grupo de tratamiento y lo más bajo posible en el 
grupo de comparación. 

Supóngase que se intenta evaluar un programa de formación docente, 
para el cual son elegibles 2.000 maestros a fin de que participen en una 
capacitación piloto. Los maestros han sido asignados de forma aleatoria 
auno de dos grupos: 1.000 al de tratamiento y otros 1.000 al de comparación. 
Cuando todos los docentes del grupo de tratamiento reciben la capacita- 
ción, y ninguno en el grupo de comparación la ha recibido, se estima el 
efecto promedio del tratamiento (ATE, por sus siglas en inglés, average 
treatment effect) calculando la diferencia en los resultados medios (por 
ejemplo, las puntuaciones en las pruebas de los alumnos) entre los dos gru- 
pos. Este ATE es el impacto promedio del tratamiento en los 1.000 maestros, 
dado que todos los maestros asignados al grupo de tratamiento realmente 
asisten al curso, algo que no ocurre con ninguno de los maestros asignados 
al grupo de comparación. 

El primer caso de cumplimiento imperfecto ocurre cuando algunas 
unidades asignadas al grupo de tratamiento deciden no inscribirse o, por 
algún otro motivo, no reciben tratamiento. En el ejemplo de la formación 
docente, algunos maestros asignados al grupo de tratamiento no se pre- 
sentan el primer día del curso. En este caso, no se puede calcular el trata- 
miento promedio para todos los maestros porque algunos nunca se 
inscribieron; por lo tanto, nunca se podrá calcular qué resultados habrían 
tenido con el tratamiento. Sin embargo, se puede estimar el impacto pro- 
medio del programa en aquellos que realmente siguen o aceptan el trata- 
miento. Se quiere estimar el impacto del programa en aquellos maestros a 
los que se asignó el tratamiento y que en la práctica se inscribieron. Esta es 
la estimación del TOT. En el ejemplo de la formación docente, la estima- 
ción del TOT representa el impacto en los maestros asignados al grupo de 
tratamiento que se presentaron y recibieron la capacitación. 

El segundo caso de cumplimiento imperfecto se produce cuando los 
individuos asignados al grupo de comparación consiguen participar en el 
programa. En este caso, los impactos no pueden estimarse directamente 
para todo el grupo de tratamiento porque sus “contrapartes” en el grupo de 
comparación no se pueden observar sin tratamiento. Se suponía que las 
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unidades tratadas en el grupo de comparación generaban una estimación 
del contrafactual para algunas unidades en el grupo de tratamiento, pero 
en la práctica reciben el tratamiento; por lo tanto, no hay manera de saber 
cuál habría sido el impacto del programa en este subconjunto de indivi- 
duos. En el ejemplo de la formación docente, supóngase que los maestros 
más motivados del grupo de comparación consiguen asistir de alguna 
manera al curso. En este caso, los más motivados en el grupo de tratamiento 
no tendrían contrapartes en el grupo de comparación, de modo que 
no sería posible estimar el impacto de la formación en ese segmento de 
maestros motivados. 

Cuando hay incumplimiento en cualquiera de los dos lados, debería 
pensarse detenidamente en qué tipo de efecto de tratamiento se estima y 
cómo interpretarlo. Una primera opción consiste en calcular una compa- 
ración del grupo originalmente asignado al tratamiento con el grupo origi- 
nalmente asignado a la comparación; esto dará la estimación de la ITT. La 
ITT compara a aquellos a quienes se pretende tratar (los asignados al 
grupo de tratamiento) con aquellos que se intenta no tratar (los asignados 
al grupo de comparación). Si el incumplimiento se produce solo del lado 
del tratamiento, puede ser una medida de impacto interesante y relevante, 
porque en cualquier caso la mayoría de los responsables de las políticas 
y administradores de programa solo pueden ofrecer un programa y no 
pueden obligar a su población designada a aceptar el mismo. 

En el ejemplo de la formación docente, puede que el gobierno quiera 
conocer el impacto promedio del programa en todos los maestros asignados, 
aunque algunos de ellos no asistan al curso. Esto se debe a que, aunque el 
gobierno amplíe el programa, es probable que haya maestros que nunca 
asistirán. Sin embargo, si hay incumplimiento en el lado de la comparación, 
la estimación de la ITT no es tan esclarecedora. En el caso de la formación 
docente, dado que el grupo de comparación incluía a maestros formados, 
el resultado promedio en el grupo de comparación se ha visto afectado por 
el tratamiento. Supóngase que el efecto de la formación docente en los resul- 
tados es positivo. Si aquellos que incumplieron en el grupo de comparación 
son los maestros más motivados y los que más se benefician de la capacita- 
ción, el resultado promedio para el grupo de comparación tendrá un sesgo 
positivo (porque los maestros motivados del grupo de comparación que 
recibieron capacitación harán subir el resultado promedio) y la estimación 
ITT tendrá un sesgo negativo (dado que se trata de la diferencia entre los 
resultados promedio en el grupo de tratamiento y de comparación). 

En estas circunstancias de no cumplimiento, una segunda opción 
consiste en estimar lo que se conoce como el efecto local promedio del 
tratamiento (LATE, por sus siglas en inglés, local average treatment effect). 
El LATE debe ser interpretado con cuidado, ya que representa los efectos 
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del programa solo para un subgrupo específico de la población. En particular, 
cuando hay incumplimiento en el grupo de tratamiento y en el de 
comparación, el LATE es el impacto en el subgrupo de cumplidores. En el 
ejemplo de la formación docente, si hay incumplimiento en ambos grupos, 
la estimación LATE es válida solo para los maestros del grupo de trata- 
miento que se inscribieron en el programa y que no se habrían inscrito si 
hubieran sido asignados al grupo de comparación. 

A continuación, se explicará cómo estimar el LATE y, algo que es igual de 
importante, cómo interpretar los resultados. Los principios para estimar el 
LATE se aplican cuando hay incumplimiento en el grupo de tratamiento, en 
el de comparación, o en ambos al mismo tiempo. El TOT es simplemente un 
LATE en el caso más especifico en que hay incumplimiento solamente en el 
grupo de tratamiento. Por lo tanto, el resto de este capítulo se enfoca en 
cómo estimar el LATE. 


Asignación aleatoria de un programa y aceptación final 


Imagínese que se debe evaluar el impacto de un programa de formación 
para el empleo en los salarios de los individuos. El programa se asigna de 
forma aleatoria a nivel individual. El grupo de tratamiento recibe el pro- 
grama, mientras que el grupo de comparación no lo recibe. Lo más probable 
es que se encuentren tres tipos de individuos en la población: 


e Inscritos si se lo ofrecen. Son los individuos que cumplen con su asigna- 
ción. Si se les asigna al grupo de tratamiento (asignados al programa), 
lo aceptarán y se inscribirán. Si se les asigna al grupo de comparación 
(no asignados al programa), no se inscriben. 


e Nuncas. Son los individuos que jamás se inscriben ni aceptan el programa, 
aunque se les asigne al grupo de tratamiento. Si en efecto se les asigna a 
este último, serán incumplidores. 


e Siempres. Estos individuos encontrarán una manera de inscribirse en el 
programa o aceptarlo, aunque se les asigne al grupo de comparación. Sien 
efecto son asignados al grupo de comparación, serán incumplidores. 


En el contexto de un programa de formación laboral, el grupo de los 
Nuncas puede estar formado por personas no motivadas que, aunque se 
les asigne un lugar en el curso, no se presentan. En cambio, los del grupo 
de los Siempres están tan motivados que encuentran una manera de entrar 
en el programa aunque originalmente se les haya asignado al grupo de 
comparación. El grupo de Inscritos si se lo ofrecen son los que se anotan en 
el curso si son asignados a él, pero no buscan inscribirse si son asignados 
al grupo de comparación. 
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El gráfico 5.1 presenta la asignación aleatoria del programa y de la 
inscripción final, o aceptación, cuando los tipos Inscritos si se lo ofrecen, 
Nuncas y Siempres están presentes. Supóngase que la población se com- 
pone de un 80% de Inscritos si se lo ofrecen, 10% de Nuncas y 10% de 
Siempres. Si se toma una muestra aleatoria de la población para la mues- 
tra de evaluación, dicha muestra tendrá también alrededor de un 80% de 
Inscritos si se lo ofrecen, 10% de Nuncas y 10% de Siempres. Luego, si la 
muestra de evaluación se asigna de manera aleatoria a un grupo de trata- 
miento y a un grupo de comparación, una vez más debería haber cerca de 
un 80% de Inscritos si se lo ofrecen, 10% de Nuncas y 10% de Siempres en 
ambos grupos. En el grupo asignado al tratamiento, se inscribirán los 
individuos Inscritos si se lo ofrecen y Siempres, y solo el grupo de Nuncas 
permanecerá al margen. En el grupo de comparación, los individuos de 
Siempres se inscribirán, mientras que los grupos de Inscritos si se lo ofre- 
cen y Nuncas permanecerán fuera. Es importante recordar que si bien se 
sabe que en la población existen estos tres tipos de individuos, no es 
posible necesariamente distinguir el tipo de un individuo hasta que se 
observan ciertas conductas. En el grupo de tratamiento, se podrá identi- 
ficar a los tipos de Nuncas cuando no se inscriben, pero no se podrá dis- 
tinguir entre los Inscritos si se lo ofrecen y los Siempres, dado que ambos 
tipos se inscribirán. En el grupo de comparación, se podrá identificar a 


Gráfico 5.1 Asignación aleatoria con cumplimiento imperfecto 
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los Siempres cuando se inscriben, pero no se podrá distinguir entre los 
Inscritos si se lo ofrecen y los Nuncas, dado que ninguno de los dos tipos 
se inscribirá. 


La estimación de impacto bajo asignación aleatoria con 
cumplimiento imperfecto 


Después de establecer la diferencia entre asignar un programa y la 
inscripción o aceptación en la práctica, se estimará el LATE del programa. 
Esta estimación se lleva a cabo en dos pasos, los cuales se ilustran en el 
grafico 5,22 

Para estimar los impactos del programa bajo la asignación aleatoria con 
cumplimiento imperfecto, primero se estima el impacto de la ITT. Se debe 
recordar que se trata solo de la diferencia en el indicador de resultados (Y) 


Gráfico 5.2 Estimación del efecto local promedio del tratamiento bajo 
asignación aleatoria con cumplimiento imperfecto 


Grupo asignado Grupo no asignado 
F " Impacto 
al tratamiento al tratamiento 

Porcentaje inscrito = 90% Porcentaje inscrito = 10% A porcentaje de inscritos = 80% 

Media Y para los asignados a Media Y para los no AY=ITT = 40 

tratamiento = 110 asignados a tratamiento = 70 | LATE = 40%/80% = 50 
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Nota: La estimación de la intención de tratar (ITT) se obtiene comparando los resultados de los 
individuos asignados al grupo de tratamiento con los de aquellos asignados al grupo de comparación, 
independientemente de la inscripción en la práctica. La estimación del efecto local promedio del trata- 
miento (LATE) es el impacto del programa en los que se inscriben solo si son asignados al programa 
(Inscritos si se lo ofrecen). La estimación LATE no proporciona el impacto del programa en aquellos 
que nunca se inscriben (Nuncas) o en aquellos que siempre se inscriben (Siempres). 


A = impacto causal; Y = resultado. 
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para el grupo que se asigna al tratamiento y el mismo indicador para el 
grupo al que no se asigna tratamiento. Por ejemplo, si el salario medio (Y) 
del grupo de tratamiento es US$110 y el salario medio del grupo de compa- 
ración es US$70, la estimación de la ITT del impacto sería de US$40 (US$110 
menos US$70). 

En segundo lugar, habría que recuperar la estimación del LATE para el 
grupo de Inscritos si se lo ofrecen de la estimación ITT. Para esto, se debe 
identificar de dónde proviene la diferencia de US$40. Se procede por 
eliminación. Primero, se sabe que la diferencia no puede ser causada por 
diferencias entre las personas que nunca se inscriben (los Nuncas) en los 
grupos de tratamiento y de comparación. Esto se debe a que los Nuncas 
jamás se inscriben en el programa, de modo que para ellos es igual estar 
en el grupo de tratamiento que en el de comparación. En segundo lugar, 
se sabe que la diferencia de US$40 no puede ser producida por diferencias 
entre los individuos de Siempres en los grupos de tratamiento y de compa- 
ración porque estos siempre se anotan en el programa. Para ellos tampoco 
hay diferencia entre estar en el grupo de tratamiento o el grupo de compa- 
ración. Por lo tanto, la diferencia en los resultados entre ambos grupos 
debe necesariamente provenir del efecto del programa en el único grupo 
afectado por su asignación al grupo de tratamiento o de comparación, es 
decir, el grupo de Inscritos si se lo ofrecen. Si se puede identificar a los 
Inscritos si se lo ofrecen en ambos grupos, será fácil estimar el impacto del 
programa en ellos. 

En realidad, aunque se sabe que estos tres tipos de individuos existen 
en la población, no se puede separar a los individuos en función de si son 
Inscritos si se lo ofrecen, Nuncas o Siempres. En el grupo que fue asignado al 
tratamiento, se puede identificar a los Nuncas (porque no se han inscrito), 
pero no se puede diferenciar entre los Siempres y los Inscritos si se lo ofrecen 
(porque ambos están inscritos). En el grupo de comparación, se puede iden- 
tificar el grupo de Siempres (porque se inscriben en el programa), pero no es 
posible diferenciar entre los Nuncas y los Inscritos si se lo ofrecen. 

Sin embargo, una vez que se observa que el 90% de las unidades en el 
grupo asignado al tratamiento en efecto se inscribe, se puede deducir que 
el 10% de las unidades de nuestra población debe estar formada Nuncas 
(es decir, el porcentaje de individuos del grupo asignados al tratamiento que 
no se inscribieron). Además, si se observa que el 10% de las unidades del 
grupo de comparación se inscribe, se sabe que el 10% son Siempres (una vez 
más, el porcentaje de individuos de nuestro grupo que no fue asignado al 
tratamiento y que sí se inscribió). Esto deja al 80% de las unidades en el 
grupo de Inscritos si se lo ofrecen. Se sabe que el impacto de US$40 proviene 
de una diferencia en la inscripción en el 80% de las unidades de la muestra 
que corresponde a Inscritos si se lo ofrecen. Si el 80% de las unidades es 
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responsable de un impacto promedio de US$40 en el conjunto del grupo 
asignado al tratamiento, el impacto en ese 80% de Inscritos si se lo ofrecen 
debe ser 40/0,8, o US$50. Dicho de otra manera, el impacto del programa 
para los Inscritos si se lo ofrecen es de US$50, pero cuando este impacto se 
distribuye en el conjunto del grupo asignado al tratamiento, el efecto pro- 
medio se diluye debido al 20% que no cumplió con la asignación aleatoria 
original. 

Recuérdese que uno de los problemas básicos de la autoselección en los 
programas es que no siempre se puede saber por qué algunas personas deci- 
den participar y otras no. Cuando se lleva a cabo una evaluación donde las 
unidades están asignadas de forma aleatoria, pero la participación en la 
práctica es voluntaria o existe una forma en que las unidades del grupo de 
comparación participen en el programa, se presenta un problema similar, a 
saber, que no siempre se entenderá la conducta que determina si un indivi- 
duo se comporta como un Nunca, un Siempre, o un Inscrito si se lo ofrecen. 
Sin embargo, si la falta de cumplimiento no es demasiado severo, la asigna- 
ción aleatoria sigue proporcionando un instrumento útil para la evaluación 
del impacto. El aspecto negativo de la asignación aleatoria con cumplimiento 
imperfecto es que esta estimación de impacto ya no es válida para el con- 
junto de la población. En cambio, la estimación debería interpretarse como 
una estimación local que se aplica solo a un subgrupo específico dentro de la 
población designada, los Inscritos si se lo ofrecen. 

La asignación aleatoria de un programa tiene dos características impor- 
tantes que permiten estimar el impacto cuando hay cumplimiento imper- 
fecto (véase el recuadro 5.2): 


1. Puede servir para predecir la inscripción en el programa si la mayoría de 
las personas se comportan como Inscritos si se lo ofrecen, y se inscriben en 
el programa cuando se les asigna al tratamiento y no se inscriben cuando 
no se les asigna. 


2. Dado que los dos grupos (asignados y no asignados al tratamiento) 
se generan mediante un proceso aleatorio, las características de los 
individuos en los dos grupos no están correlacionadas con ningún otro 
factor -como la habilidad o la motivación- que pueda influir también en 
los resultados (Y). 


En términos estadísticos, la asignación aleatoria sirve como VI. Se trata de 
una variable que predice la inscripción real de unidades en un programa, 
pero que no está relacionada con otras características de los individuos 
que puedan estar vinculadas a los resultados. Aunque en parte la decisión de 
los individuos de inscribirse en un programa no puede estar controlada 
por los administradores del programa, otra parte de la decisión sí está bajo 


Las variables instrumentales 


109 


110 


Recuadro 5.2: Variables instrumentales para lidiar con la falta de 
cumplimiento en un programa de vales escolares en Colombia 


El Programa de Ampliación de Cobertura 
de la Educación Secundaria (PACES), en 
Colombia, suministró vales a más de 
125.000 estudiantes para cubrir algo más de 
la mitad del costo de asistencia a escuelas 
secundarias privadas. Dado el presupuesto 
limitado del programa, los vales se asigna- 
ron mediante sorteo. Angrist et al. (2002) 
aprovecharon este tratamiento asignado de 
manera aleatoria para determinar el efecto 
del programa sobre los resultados educati- 
vos y sociales. 

Angrist et al. (2002) observaron que los 
ganadores del sorteo tenían un 10% más de 
probabilidades de terminar el octavo grado y 
registraron una desviación estándar de 0,2 
puntos más en las pruebas estandarizadas 
tres años después del sorteo inicial. También 
observaron que los efectos educativos 
fueron mayores en las niñas que los niños. 
Luego examinaron el impacto del programa 
en varios resultados no educativos y 
observaron que era menos probable que los 
ganadores del sorteo estuvieran casados y 
que trabajaban alrededor de 1,2 horas 
menos por semana. 


Fuente: Angrist et al. (2002). 


Hubo cierto incumplimiento con el diseño 
aleatorio, ya que alrededor del 90% de los 
ganadores del sorteo habían usado el vale 
u otra forma de beca, y el 24% de los 
perdedores del sorteo habían recibido becas. 
Utilizando nuestra terminología, la población 
debe haber contenido un 10% de Nuncas, 
un 24% de Siempres y un 66% de Inscritos 
si se lo ofrecen. Angrist et al. (2002) también 
utilizaron la asignación original, o la condición 
del ganador o perdedor del sorteo de los 
alumnos, como una variable instrumental 
para estimar el tratamiento en los tratados 
(TOT), la recepción real de la beca. Por último, 
pudieron efectuar un análisis de costo- 
beneficio para entender mejor el impacto del 
programa de vales tanto en los gastos de los 
hogares como del gobierno. Los investigado- 
res llegaron a la conclusión de que los costos 
sociales totales del programa eran pequeños 
y se veían compensados por los retornos 
previstos para los participantes y sus fami- 
lias, lo que sugiere que los programas orien- 
tados a la demanda, como PACES, pueden 
ser una solución costo-efectiva para aumen- 
tar los logros educativos. 


su control. Concretamente, la parte de la decisión que puede controlarse es 
la asignación a los grupos de tratamiento y comparación. En la medida en 
que la asignación a los grupos de tratamiento y de comparación predice la 
inscripción final en el programa, la asignación aleatoria se puede usar como 
un “instrumento” para predecir la inscripción final. Tener esta VI permite 
recuperar las estimaciones del LATE de las estimaciones del efecto de ITT 
para el tipo de unidades Inscritos si se lo ofrecen. 
Una variable VI debe satisfacer dos condiciones básicas: 


1. No debería estar correlacionada con las características de los grupos de 
tratamiento y de comparación. Esto se consigue asignando el tratamiento 


La evaluación de impacto en la práctica 


aleatoriamente a las unidades en la muestra de evaluación. Esto se 
conoce como exogeneidad. Es importante que la VI no influya directa- 
mente en el resultado de interés. Los impactos deben ser causados úni- 
camente a través del programa que nos interesa evaluar. 


2. Debe influir en las tasas de participación de los grupos de tratamiento 
y comparación de manera diferente. Normalmente se piensa en aumen- 
tar la participación en el grupo de tratamiento. Esto se puede verificar 
constatando que la participación es más alta en el grupo de tratamiento 
que en el de comparación. Esta condición se conoce como relevancia. 


Interpretación de la estimación del efecto promedio del 
tratamiento local 


La diferencia entre la estimación de un ATE y la estimación de un LATE es 
especialmente importante cuando se trata de interpretar los resultados de 
una evaluación. Piénsese sistemáticamente en cómo interpretar una esti- 
mación LATE. En primer lugar, debe reconocerse que los individuos que 
cumplen en un programa (el tipo Inscritos si se lo ofrecen) son diferentes de 
los individuos que no cumplen (los tipos Nuncas y Siempres). Concretamente, 
en el grupo de tratamiento, los no cumplidores/no participantes (Nuncas) 
pueden ser aquellos que esperan ganar poco con la intervención. En el 
grupo de comparación, los no cumplidores/participantes (Siempres) pro- 
bablemente constituyan el grupo de individuos que esperan el mayor bene- 
ficio de participar. En el ejemplo de la formación docente, los maestros 
asignados a la capacitación pero que deciden no participar (el tipo Nuncas) 
pueden ser aquellos que creen que no necesitan formación, maestros con 
un mayor costo de oportunidad del tiempo (por ejemplo, porque tienen un 
segundo empleo o porque tienen que cuidar de sus hijos), o maestros regi- 
dos por una supervisión laxa, que pueden dejar de asistir sin tener proble- 
mas. Por otro lado, los docentes asignados al grupo de comparación pero 
que se inscriben de todas maneras (el tipo Siempres) pueden ser aquellos 
que creen que necesitan formación, maestros que no tienen hijos que cui- 
dar o maestros con un director estricto que insiste en que todos tienen que 
recibir capacitación. 

En segundo lugar, se sabe que la estimación LATE proporciona el 
impacto para un subgrupo particular de la población: tiene en cuenta solo 
al subgrupo que no se ve afectado por ningún tipo de incumplimiento. En 
otras palabras, tiene en cuenta solo el tipo Inscritos si se lo ofrecen. Dado 
que el tipo Inscritos si se lo ofrecen es diferente de los Nuncas y de los 
Siempres, el impacto que se halla a través de la estimación LATE no se 
aplica a los tipos Nuncas o Siempres. Por ejemplo, si el ministerio de 
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Educación decidiera implementar una segunda ronda de capacitación y 
pudiera obligar a los maestros Nuncas que no recibieron formación en la 
primera ronda a recibirla en esta ocasión, no se sabe si esos maestros ten- 
drían efectos menores, iguales o mayores en comparación con los partici- 
pantes de la primera ronda. De la misma manera, si los docentes más auto 
motivados siempre encuentran una manera de seguir la capacitándose a 
pesar de ser asignados de forma aleatoria al grupo de comparación, el 
LATE para los cumplidores de los grupos tanto de tratamiento como de 
comparación no proporciona información acerca del impacto del pro- 
grama para los maestros sumamente motivados (los Siempres). La estima- 
ción del LATE se aplica únicamente a un subconjunto específico de la 
población, a saber, aquellos tipos que no están afectados por la falta de 
cumplimiento -es decir, solo el tipo cumplidor- y no debería extrapolarse 
aotros subconjuntos de la población. 


Promoción aleatoria como variable instrumental 


En la sección anterior, se expuso cómo estimar el impacto sobre la base de la 
asignación aleatoria del tratamiento, aun cuando el cumplimiento con los 
grupos de tratamiento y comparación originalmente asignados sea imper- 
fecto. A continuación, se propone un enfoque muy similar que se puede apli- 
car a la evaluación de programas que tienen elegibilidad universal o 
inscripción abierta, o en los que el administrador del programa no puede 
controlar quién participa y quién no. 

Este enfoque, denominado promoción aleatoria, proporciona un esti- 
mulo más para que un conjunto aleatorio de unidades se inscriba en el 
programa. Esta promoción aleatoria sirve como VI. Sirve como una fuente 
externa de variación que afecta la probabilidad de recibir tratamiento, 
pero no está relacionada de ninguna forma con las características de los 
participantes. 

Los programas de participación voluntaria suelen permitir que los indi- 
viduos que se interesan en el programa decidan por sí mismos si quieren 
inscribirse y participar. Piénsese una vez más en el programa de formación 
laboral tratado anteriormente, aunque esta vez la asignación aleatoria no es 
posible y cualquier individuo que desee inscribirse en el programa puede 
hacerlo. De manera muy parecida a la del ejemplo anterior, se prevé encon- 
trar diferentes tipos de personas: cumplidores, un grupo de Siempres y un 
grupo de Nuncas. 


e Siempres. Los individuos que siempre se inscribirán en el programa. 


e Nuncas. Los individuos que jamás se inscribirán. 
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e Cumplidores o Inscritos si se promueve. En este contexto cualquier indivi- 
duo que quiera inscribirse en el programa puede hacerlo. Sin embargo, 
algunos individuos pueden estar interesados en inscribirse, pero por 
diversos motivos no tienen suficiente información o el incentivo correcto 
para hacerlo. En este caso, los cumplidores son aquellos que se inscriben 
si se promueve. Se trata de un grupo de individuos que se anotan en el 
programa solo si se les ofrece un incentivo adicional, un estímulo o moti- 
vación que los impulse a participar. Sin este estímulo adicional, los 
Inscritos si se promueve sencillamente quedarían fuera del programa. 


Para volver al ejemplo de la formación para el empleo, si la agencia que orga- 
niza la capacitación está bien financiada y tiene suficiente capacidad, puede 
que despliegue una política de “puertas abiertas” y trate atodas las personas 
desempleadas que quieran participar. Sin embargo, es poco probable que 
todas las personas desempleadas quieran participar o incluso que sepan que 
el programa existe. Puede que algunas personas desempleadas tengan repa- 
ros para inscribirse porque saben muy poco acerca del contenido de la for- 
mación y les cuesta obtener información adicional. Supóngase que la agencia 
de formación para el empleo contrata a un trabajador de extensión comuni- 
taria para que se pasee por la ciudad a fin de alentar a un grupo de personas 
desempleadas seleccionado de forma aleatoria para que se inscriban en el 
programa de formación laboral. Con la lista de personas desempleadas ele- 
gidas de manera aleatoria, llama a sus puertas, describe el programa de for- 
mación y les ofrece ayuda para inscribirse en ese mismo momento. La visita 
es una forma de promoción o estímulo para participar en el programa. Desde 
luego, no se puede obligar a nadie a participar. Además, las personas desem- 
pleadas que el trabajador de extensión comunitaria no visita también pue- 
den inscribirse, aunque tendrán que ir personalmente a la agencia para 
hacerlo. Por lo tanto, ahora hay dos grupos de personas desempleadas: aque- 
llas que fueron asignadas de modo aleatorio a una visita del trabajador 
comunitario y aquellas que aleatoriamente no fueron visitadas. Si el esfuerzo 
de extensión es efectivo, la tasa de inscripción entre las personas desem- 
pleadas que fueron visitadas debería ser superior a la tasa entre las personas 
desempleadas que no fueron visitadas. 

Piénsese ahora en cómo se puede evaluar este programa de formación 
laboral. No se puede simplemente comparar a las personas desempleadas 
que se inscriben con aquellas que no se inscriben. Esto se debe a que los 
desempleados que se inscriben probablemente sean muy diferentes de 
aquellos que no lo hacen, tanto en sus características observables como no 
observables. Puede que tengan un nivel educativo mayor o menor (esto 
puede observarse con facilidad) y probablemente estén más motivados y 
deseosos de encontrar un empleo (esto es difícil de observar y medir). 
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Sin embargo, hay una variación adicional que se puede explotar para 
encontrar un grupo de comparación válido. Piénsese si se puede comparar 
el grupo de personas que fueron asignadas aleatoriamente para recibir una 
visita del trabajador de extensión con el grupo que no fue visitado. Dado que 
los grupos con promoción y sin promoción fueron determinados de forma 
aleatoria, ambos contienen composiciones idénticas de personas muy moti- 
vadas (Siempres) que se inscribirán independientemente de que el trabaja- 
dor de extensión llame a su puerta o no. Ambos grupos también contienen 
personas no motivadas (Nuncas) que no se inscribirán en el programa, a 
pesar de los esfuerzos del trabajador de extensión. Por último, si el trabaja- 
dor de extensión es efectivo motivando a las personas a inscribirse, algunos 
(Inscritos si se promueve) se anotarán en el programa si el trabajador de 
extensión los visita, pero no lo harán si no reciben dicha visita. 

Dado que el trabajador de extensión visitó a un grupo de individuos 
asignados de manera aleatoria, puede derivarse una estimación LATE, 
como se señalaba anteriormente. La única diferencia es que en lugar de 
asignar el programa de modo aleatorio, se lo está promoviendo aleatoria- 
mente. Siempre que los Inscritos si se promueve (que se inscriben cuando 
se hace contacto con ellos pero no se anotan si no hay contacto) sean lo 
suficientemente numerosos, entre el grupo con la promoción y el grupo sin 
la promoción habrá variaciones que permitirán identificar el impacto de la 
formación en los Inscritos si se promueve. En lugar de cumplir la asigna- 
ción del tratamiento, los Inscritos si se promueve ahora cumplen con la 
promoción. 

Para que esta estrategia funcione, la actividad de promoción tiene que ser 
efectiva y aumentar la inscripción considerablemente en el grupo de 
Inscritos si se promueve. Al mismo tiempo, las actividades de promoción en 
sí mismas no deberían influir en los resultados finales de interés (como los 
ingresos), dado que al final lo que interesa sobre todo es estimar el impacto 
del programa de formación y no el impacto de la estrategia de promoción en 
los resultados finales. Por ejemplo, si el trabajador de extensión ofreció 
grandes cantidades de dinero a los desempleados para conseguir que se ins- 
cribieran, sería difícil saber si algún cambio posterior en los ingresos fue 
causado por la formación o por la actividad de promoción. 

La promoción aleatoria es una estrategia creativa que genera el equivalente 
de un grupo de comparación para los fines de la evaluación de impacto. Se 
puede usar cuando un programa tiene inscripción abierta y es posible organi- 
zar una campaña de promoción destinada a una muestra aleatoria de la pobla- 
ción de interés. La promoción aleatoria es otro ejemplo de VI que permite 
evaluar el impacto de manera no sesgada. Sin embargo, una vez más, como 
sucede con la asignación aleatoria con cumplimiento imperfecto, las evalua- 
ciones de impacto que dependen de la promoción aleatoria proporcionan una 
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estimación LATE: una estimación local del efecto en un subgrupo específico 
de la población, el grupo de Inscritos si se promueve. Como sucedió antes, esta 
estimación LATE no puede extrapolarse directamente al conjunto de la 
población, dado que los grupos de Siempres y Nuncas probablemente sean 
bastante diferentes del grupo de Inscritos si se promueve. 


¿Ha dicho “promoción”? 


La promoción aleatoria pretende aumentar la aceptación de un programa 
voluntario en una submuestra de la población seleccionada aleatoriamente. 
La promoción puede adoptar diversas formas. Por ejemplo, puede que se 
decida iniciar una campaña de información para llegar a aquellas personas 
que no se han inscrito porque no lo sabían o porque no entienden cabalmente 
el contenido del programa. También, se pueden ofrecer incentivos para ins- 
cribirse, como pequeños obsequios o premios, o facilitando el transporte. 

Como se señaló de manera más general en el caso de las VI, para que el 
método de promoción aleatoria genere una estimación válida del impacto 
del programa debe cumplirse una serie de condiciones: 


1. Los grupos que son objeto y no objeto de la promoción deben ser simila- 
res. Es decir, las características promedio de los dos grupos deben ser 
estadísticamente equivalentes. Esto se consigue asignando de forma 
aleatoria las actividades de extensión o promoción entre las unidades de 
la muestra de evaluación. 


2. La propia promoción no debería influir directamente en los resultados de 
interés. Este es un requisito crítico, de modo que se pueda saber que los 
cambios en los resultados de interés son provocados por el programa 
mismo y no por la promoción. 


3. La campaña de promoción debe alterar considerablemente las tasas de 
inscripción en el grupo objeto de la promoción en relación con el grupo 
que no ha sido objeto de la misma. Normalmente, se piensa en aumentar 
la inscripción mediante la promoción. Esto se puede verificar consta- 
tando que las tasas de inscripción sean más altas en el grupo que es objeto 
de la promoción que en el grupo que no lo es. 


El proceso de promoción aleatoria 


El proceso de promoción aleatoria se presenta en el gráfico 5.3. Al igual 
que con los métodos anteriores, se comienza con la población de unidades 
elegibles para el programa. A diferencia de la asignación aleatoria, ya no 
se puede elegir aleatoriamente quién recibirá el programa y quién no lo 
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Concepto clave 

La promoción aleatoria 
es un método de 
variables instrumenta- 
les que permite 
estimar el impacto de 
manera no sesgada. 
Asigna aleatoriamente 
una promoción o 
incentivo para 
participar en el 
programa. Es una 
estrategia útil para 
evaluar programas que 
están abiertos a todos 
los que sean elegibles. 
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Gráfico 5.3 Proceso de promoción aleatoria 


1. Definir las unidades elegibles 2. Seleccionar la muestra 3. Realizar la promoción 4. Inscripción 
de evaluación aleatoria del programa 


eee 


ee |i 
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Nunca Inscritos Siempre Validez externa Validez interna 
si son 
objeto de la 
promoción 
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recibirá, porque el programa es totalmente voluntario. Sin embargo, en la 
población de unidades elegibles, habrá tres tipos de unidades: 


e Siempres. Aquellos que siempre quieren inscribirse en el programa. 


e Inscritos si se promueve. Aquellos que se inscriben en el programa solo si 
son objeto de la promoción. 


e Nuncas. Aquellos que jamás se inscriben en el programa, independiente- 
mente de que sean objeto de la promoción o no. 


Una vez más, nótese que ser un Siempre, un Inscrito si se promueve o un 
Nunca es una característica intrínseca de las unidades que no se puede medir 
fácilmente con un equipo de evaluación del programa porque está relacio- 
nado con factores como la motivación, la inteligencia y la información. 

Una vez que se define la población elegible, el paso siguiente consiste en 
seleccionar de manera aleatoria una muestra de la población que formará 
parte de la evaluación. Estas son las unidades sobre las que se recopilan 
datos. En algunos casos, por ejemplo, cuando se dispone de datos sobre 
todas las unidades elegibles, se puede incluir al conjunto de la población en 
la muestra de evaluación. 

Una vez que se ha definido la muestra de evaluación, la promoción 
aleatoria asigna aleatoriamente la muestra mencionada en el grupo 
objeto de la promoción y un grupo que no es objeto de ella. Dado que 
tanto los miembros del grupo con promoción como los del grupo sin pro- 
moción se escogen de forma aleatoria, ambos grupos compartirán las 
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características de la muestra de evaluación general, que serán equivalen- 
tes a las características de la población de las unidades elegibles. Por lo 
tanto, el grupo que es objeto de la promoción y el grupo que no lo es 
tendrán características similares. 

Después de acabar la campaña de promoción, pueden observarse las 
tasas de inscripción en ambos grupos. En el grupo sin promoción, se inscri- 
birán solo los Siempres. Aunque se sabe qué unidades son Siempres en el 
grupo sin promoción, en este grupo no se podrá distinguir entre los Nuncas 
y los Inscritos si se promueve. En cambio, en el grupo con promoción se ins- 
cribirán tanto los Inscritos si se promueve como los Siempres, mientras que 
los Nuncas no se anotarán. Por ello, en el grupo con promoción se podrá 
identificar al grupo de Nuncas, pero no se podrá distinguir entre los Inscritos 
si se promueve y los Siempres. 


Estimación de impacto bajo la promoción aleatoria 


Imagínese que en un grupo de 10 individuos la campaña de promoción 
aumenta la inscripción de un 30% en el grupo sin promoción (3 Siempres) a 
un 80% en el grupo con promoción (3 Siempres y 5 Inscritos si se promueve). 
Supóngase que el resultado promedio de todos los individuos del grupo sin 
promoción (10 individuos) es 70, y que el resultado promedio de los indivi- 
duos en el grupo con promoción (10 individuos) es 110 (gráfico 5.4). ¿Cuál 
sería el impacto del programa? 


Gráfico 5.4 Estimación del efecto local promedio del tratamiento bajo la 
promoción aleatoria 


Grupo con promoción Grupo sin promoción Impacto 


Porcentaje de inscritos = 80% Porcentaje de inscritos = 30% | A porcentaje de inscritos = 50% 


Media Y para grupo con Media Y para grupo sin AY=40 
promoción = 110 promoción = 70 LATE = 40%/50% = 80 
Nunca 
Inscrito si 
es objeto 
de la 
promoción 
Siempre 


Nota: Las figuras que aparecen con el fondo sombreado corresponden a los que se inscriben. 


A = impacto causal; Y = resultado. 
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En primer lugar, calcúlese la simple diferencia de los resultados entre los 
grupos con promoción y sin promoción, que es de 40 (110 - 70). Se sabe que 
ningún elemento de esta diferencia de 40 proviene de los Nuncas porque 
estos no se inscriben en ningún grupo. También se sabe que ningún ele- 
mento de la diferencia de 40 se debe a los Siempres porque estos se inscriben 
en ambos grupos. Por lo tanto, toda la diferencia de 40 tendría que deberse 
al grupo Inscritos si se promueve. 

El segundo paso consiste en obtener la estimación LATE del programa de 
los Inscritos si se promueve. Se sabe que la diferencia de 40 entre los grupos 
con promoción y sin promoción puede atribuirse a los Inscritos si se pro- 
mueve, que constituyen solo el 50% de la población. Para evaluar el efecto 
promedio del programa en un cumplidor, se divide 40 por el porcentaje de 
Inscritos si se promueve en la población. Aunque no se puede identificar 
directamente a los Inscritos si se promueve, se puede deducir cuál debe ser 
su porcentaje de la población, es decir, la diferencia en las tasas de inscrip- 
ción de los grupos con promoción y sin promoción (50%, o 0,5). Por lo tanto, 
la estimación del efecto local promedio del tratamiento del programa del 
grupo Inscritos si se promueve es 40/0,5 = 80. 

Dado que la promoción se asigna de forma aleatoria, los grupos con pro- 
moción y sin promoción tienen iguales características. Por lo tanto, las dife- 
rencias que se observan en los resultados promedio entre los dos grupos 
tienen que deberse al hecho de que en el grupo con promoción los Inscritos 
si se promueve se inscriben, mientras que en el grupo sin promoción no lo 
hacen. Una vez más, los impactos estimados de los Inscritos si se promueve 
no deberían extrapolarse directamente a otros grupos, puesto que es proba- 
ble que sean bastante diferentes de los grupos que se inscriben Nunca y 
Siempre. El recuadro 5.3 presenta un ejemplo de promoción aleatoria para 
un proyecto en Bolivia. 


Recuadro 5.3: Promoción de inversiones en infraestructura 


educativa en Bolivia 


En 1991 Bolivia institucionalizó y amplió un 
exitoso Fondo de Inversión Social (FIS) que 
ofrecía financiamiento a comunidades 
rurales para infraestructura de educación, 
salud y agua. El Banco Mundial, que 
contribuía al financiamiento del fondo, 


incorporó una evaluación de impacto al 
diseño del programa. 

Como parte de la evaluación de impacto 
del componente educativo, se seleccionaron 
aleatoriamente comunidades de la región 
de Chaco para la promoción activa del FIS. 


Continúa en la página siguiente. 
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Recuadro 5.3: Promoción de inversiones en infraestructura educativa en Bolivia (continúa) 


Estas recibieron visitas adicionales de 
incentivos para participar. El programa 
estaba abierto a todas las comunidades 
elegibles en la región y estaba orientado a 
la demanda, ya que las comunidades debían 
solicitar fondos para un proyecto específico. 
La participación fue mayor entre las 
comunidades con promoción. 

Newman et al. (2002) usaron la promo- 
ción aleatoria como variable instrumental. 
Observaron que las inversiones en educa- 
ción lograron mejorar la calidad de ciertos 
aspectos de la infraestructura escolar, como 


la electricidad, las instalaciones de sanea- 
miento, el número de libros de texto por 
estudiante y la proporción de estudiantes 
por profesor. Sin embargo, detectaron un 
escaso impacto en los resultados educati- 
vos, con la excepción de un descenso de 
alrededor del 2,5% en la tasa de abandono 
escolar. Como consecuencia de estas obser 
vaciones, el Ministerio de Educación y el FIS 
dedican ahora más atención y recursos al 
software de la educación, y solo financian 
mejoras de la infraestructura física cuando 
forman parte de una intervención integral. 


Fuente: Newman et al. (2002). 


Qr Evaluación de impacto del HISP: promoción aleatoria 


A continuación, se procurará utilizar el método de promoción aleatoria 
para evaluar el impacto del HISP. Supóngase que el ministerio de Salud 
toma la decisión ejecutiva de que el subsidio de seguro de salud debería 
estar disponible inmediatamente para cualquier hogar que quiera inscri- 
birse. Nótese que se trata de un escenario diferente del caso de asigna- 
ción aleatoria que se ha estudiado hasta ahora. Sin embargo, usted sabe 
que en términos realistas esta ampliación a nivel nacional será progresiva 
lo largo del tiempo, de modo que llega a un acuerdo para intentar acelerar 
la inscripción en un subconjunto aleatorio de pueblos mediante una 
campaña de promoción. En una submuestra aleatoria de los pueblos, 
usted emprende un esfuerzo intensivo de promoción que incluye la 
comunicación y el marketing social con el fin de crear conciencia de la 
existencia del HISP. Las actividades de promoción están diseñadas cui- 
dadosamente para evitar contenidos que puedan incentivar de forma 
involuntaria cambios en otros comportamientos relacionados con la 
salud, dado que esto invalidaría la promoción como VI. En cambio, la 
promoción se concentra exclusivamente en aumentar la inscripción en el 
HISP. Después de dos años de promoción y de implementación del pro- 
grama, se observa que el 49,2% de los hogares de los pueblos que fueron 
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asignados aleatoriamente a la promoción se ha inscrito en el programa, 
mientras que solo lo ha hecho un 8,4% de los hogares de los pueblos sin 
promoción (cuadro 5.1). 

Dado que los pueblos con promoción y sin promoción fueron asignados 
aleatoriamente, se sabe que las características promedio de los dos grupos 
deberían ser las mismas en ausencia de la promoción. Dicho supuesto 
puede verificarse comparando los gastos básicos en salud (así como cual- 
quier otra característica) de las dos poblaciones. Después de dos años de 
implementación del programa, se observa que el gasto promedio en salud 
en los pueblos con promoción es de US$14,97 versus US$18,85 en las zonas 
sin promoción (una diferencia inferior a US$3,87). Sin embargo, dado que 
la única diferencia entre los pueblos con promoción y sin promoción es 
que la inscripción en el programa ha sido más alta en los pueblos con pro- 
moción (gracias a la campaña de promoción), esta diferencia de US$3,87 
en gastos de salud tiene que deberse al 40,78% adicional de hogares que se 
inscribieron en los pueblos con promoción debido precisamente a la pro- 
moción. Por lo tanto, hay que ajustar las diferencias en gastos sanitarios 
para encontrar el impacto del programa en los Inscritos si se promueve. 
Para esto, se divide la estimación de la ITT -es decir, la simple diferencia 
entre los grupos con promoción y sin promoción- por el porcentaje de 
Inscritos si se promueve: -3,87/0,4078 = US$9,49. Su colega, un especialista 
en econometría que sugiere utilizar la promoción aleatoria como variable 
instrumental, estima el impacto del programa mediante un procedimiento 
de mínimos cuadrados en dos etapas (véase el manual técnico en línea en 


Cuadro 5.1 Evaluación del HISP según la promoción aleatoria 
(comparación de medias) 


Pueblos con Pueblos sin 
promoción promoción Diferencia  t-estadístico 
Línea de 
base: gasto 
en salud de 
los hogares 1719 1724 0,05 0,47 
Encuesta de 
seguimiento: 
gasto en 
salud de los 
hogares 14,97 18,85 -3,87 16,43 
Participación 
en el HISP 49,20% 8,42% 40,78% 49,85 


** Significativo al nivel del 1%. 
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Cuadro 5.2 Evaluación del HISP según la promoción aleatoria 
(análisis de regresión) 


Regresión lineal Regresión lineal multivariante 


Impacto estimado 
sobre el gasto en —9,50* * -9,74** 
salud de los hogares (0,52) (0,46) 


Nota: Los errores estándares se encuentran entre paréntesis. 


** Significativo al nivel del 1%. 


www.worldbank.org/ieinpractice para más detalles sobre el enfoque eco- 

nométrico para estimar los impactos con VI). Su colega encuentra los 

resultados que aparecen en el cuadro 5.2. Este impacto estimado es válido 

para aquellos hogares que se inscribieron en el programa debido a la pro- 

moción, pero que de otra manera no se habrían inscrito: en otras palabras, 

los Inscritos si se promueve. 

A 

2 Pregunta HISP 4 

A. ¿Cuáles son las condiciones clave requeridas para aceptar los resulta- 
dos de la evaluación de promoción aleatoria del HISP? 

B. Sobre la base de estos resultados, ¿se debería ampliar el HISP a nivel 
nacional? 


Limitaciones del método de promoción aleatoria 


La promoción aleatoria es una estrategia útil para evaluar el impacto de 
programas voluntarios y programas con elegibilidad universal, sobre todo 
porque no requiere la exclusión de ninguna unidad elegible. Sin embargo, el 
enfoque tiene algunas limitaciones en comparación con la asignación alea- 
toria del tratamiento. 

En primer lugar, la estrategia de promoción debe ser efectiva. Si la cam- 
paña de promoción no aumenta la inscripción, no aparecerá ninguna diferen- 
cia entre los grupos con promoción y sin promoción, y no habrá nada que 
comparar. Por lo tanto, es crucial diseñar cuidadosamente la campaña de pro- 
moción y realizar una prueba piloto extensiva de la misma para asegurarse de 
que será efectiva. El aspecto positivo es que el diseño de dicha campaña puede 
ayudar a los administradores del programa enseñándoles cómo aumentar la 
inscripción después de que haya concluido el período de evaluación. 

En segundo lugar, el método de promoción aleatoria permite estimar el 
impacto del programa solo para un subconjunto de la población de unidades 


Las variables instrumentales 


121 


122 


elegibles (un LATE). Concretamente, el impacto promedio local del programa 
se estima a partir del grupo de individuos que se inscriben únicamente cuando 
se les incentiva a hacerlo. Sin embargo, puede que los individuos de este grupo 
tengan características muy diferentes de aquellos que siempre se inscriben o 
nunca se inscriben. Por lo tanto, el efecto promedio del tratamiento para el 
conjunto de la población puede ser distinto del efecto del tratamiento prome- 
dio estimado para los individuos que participan solo cuando se les incentiva. 
Una evaluación con promoción aleatoria no estimará los impactos en el grupo 
de individuos que se inscriben en el programa sin ser incentivados. En algu- 
nos casos, este grupo (los Siempres) puede ser precisamente el grupo que el 
programa está diseñado para beneficiar. En este contexto, el diseño de promo- 
ción aleatoria arrojará luz sobre los impactos esperados en nuevas poblacio- 
nes que se inscribirían debido a la promoción adicional, pero no en cuanto a la 
población que ya se ha inscrito por su propia iniciativa. 


Lista de verificación: promoción aleatoria como 
variable instrumental 


La promoción aleatoria genera estimaciones válidas del contrafactual si la 
campaña de promoción aumenta de forma considerable la aceptación del 
programa sin influir directamente en los resultados de interés. 


v Las características de linea de base, ¿están equilibradas entre las unida- 
des que recibieron la campaña de promoción y aquellas que no la recibie- 
ron? Compárense las características de línea de base de los dos grupos. 


Y” La campaña de promoción, ¿ha influido de forma considerable en la acep- 
tación del programa? Tendría que influir. Compárense las tasas de acep- 
tación del programa en las submuestras con promoción y sin promoción. 


Y La campaña de promoción, ¿influye directamente en los resultados? 
No tendría que influir. Esto no puede comprobarse directamente, de modo 
que tiene que depender de la teoría, del sentido común y del conocimiento 
adecuado del entorno de la evaluación de impacto como guía. 


Recursos adicionales 


e Para material de apoyo del libro e hipervínculos a recursos adicionales, 
se recomienda consultar el sitio web de la Evaluación de Impacto en la 
Práctica (http://www.worldbank.org/ieinpractice). 

e Para otros recursos sobre VI, véase el portal de evaluación del Banco 
Interamericano de Desarrollo (BID) (http//:www.iadb.org/portalevaluacion). 
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Notas 


1. Enla ciencia médica, los pacientes del grupo de comparación suelen recibir 
un placebo, es decir, una píldora edulcorada que no tendrá efecto en el 
resultado previsto. Esto se hace con el fin de controlar mejor el efecto placebo, 
es decir, los cambios potenciales en la conducta y los resultados que podrían 
darse sencillamente por el acto de recibir un tratamiento, aunque el trata- 
miento mismo sea inefectivo. 


2. Estos dos pasos corresponden a la técnica econométrica de mínimos cuadrados 


en dos etapas, que produce una estimación del efecto local promedio del 
tratamiento. 
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CAPÍTULO 6 


Diseño de regresión discontinua 


Evaluación de programas que utilizan un índice 
de elegibilidad 


Los programas sociales a menudo utilizan un índice para decidir quién 
tiene derecho a inscribirse en un programa y quién no. Por ejemplo, los 
programas de lucha contra la pobreza suelen focalizarse en los hogares 
pobres, identificados mediante una puntuación o un índice de la pobreza. 
El índice de pobreza se puede basar en una fórmula que mide un conjunto 
de activos básicos del hogar como factor aproximado (o estimativo) de sus 
medios (como el ingreso, el consumo o el poder adquisitivo).! Se clasifica a 
los hogares con baja puntuación como pobres, y a los hogares con puntua- 
ciones más altas se les considera relativamente acomodados. Los progra- 
mas de lucha contra la pobreza suelen establecer un umbral o una 
puntuación límite, por debajo del cual se determina la condición de 
pobreza y la elegibilidad para el programa. El sistema de selección de 
beneficiarios del gasto social en Colombia es un ejemplo de este tipo 
de esquema (véase el recuadro 6.1). Las puntuaciones en las pruebas edu- 
cativas constituyen otro ejemplo (recuadro 6.3). Se puede conceder la 
admisión a la universidad a los individuos que obtienen los mejores resul- 
tados en las pruebas estandarizadas, calificados desde el más bajo al más 
alto. Si el número de becas es limitado, solo serán admitidos los alumnos 
con puntuaciones por encima de un cierto umbral (como, por ejemplo, el 
10% superior de los alumnos). En ambos ejemplos hay un índice de 
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Recuadro 6.1: Uso del diseño de regresión discontinua para 
evaluar el impacto de la reducción de las tarifas escolares en 
los índices de matriculación en Colombia 


Barrera-Osorio, Linden y Urquiola (2007) uti- 
lizaron un diseño de regresión discontinua 
(DRD) para evaluar el impacto de un pro- 
grama para reducir las tarifas escolares en 
Colombia (Gratuidad) sobre los índices de 
matriculación en los colegios de la ciudad 
de Bogotá. El programa definió su población 
objetivo sobre la base del SISBEN, un índice 
continuo de pobreza cuyo valor está deter- 
minado por características de los hogares, 
como la ubicación, los materiales de cons- 
trucción de la vivienda, los servicios de los 
que dispone, la demografía, la salud, la edu- 
cación, el ingreso y las ocupaciones de los 
miembros de la familia. El gobierno estable- 
ció dos puntuaciones límite en el índice 
SISBEN. Así, los niños de los hogares con 
puntuaciones inferiores a la primera puntua- 
ción límite eran elegibles para recibir educa- 
ción gratuita entre los grados 1 y 11, los 
niños de los hogares cuyas puntuaciones se 
hallaban entre la primera y la segunda pun- 
tuación eran elegibles para un subsidio del 
50% en las tarifas para los grados 10 y 11, y 
los niños de los hogares con puntuaciones 
superiores a la segunda puntuación no eran 
elegibles para recibir educación gratuita ni 
subsidios. 

Los autores utilizaron un DRD por cuatro 
motivos. En primer lugar, las características 
del hogar, como el ingreso o el nivel educa- 
tivo del jefe de familia, son continuos en la 


Fuente: Barrera-Osorio, Linden y Urquiola (2007). 


puntuación SISBEN en la línea de base; 
en otras palabras, no hay “saltos” en las 
características en la puntuación SISBEN. En 
segundo lugar, los hogares en ambos lados 
de las puntuaciones límite tienen característi- 
cas similares, y generan grupos de compara- 
ción creíbles. En tercer lugar, se disponía de 
una muestra grande de hogares. Por último, 
el gobierno mantuvo en secreto la fórmula 
utilizada para calcular el índice SISBEN, de 
modo que no se pudieran manipular las 
puntuaciones. 

Al usar el método DRD, los investigado- 
res observaron que el programa tuvo un 
impacto positivo significativo en los índices 
de matriculación escolar. Concretamente, la 
matriculación fue 3 puntos porcentuales 
más alta en los alumnos de primaria de 
hogares con puntuaciones inferiores a la 
primera puntuación límite y 6 puntos po 
centuales más alta en los alumnos de 
secundaria de los hogares ubicados entre la 
primera y la segunda puntuación límite. Este 
estudio aporta evidencia sobre los benefi 
cios de reducir los costos directos de la 
escolarización, sobre todo entre los alum- 
nos en situación de riesgo. Sin embargo, 
sus autores también recomiendan una 
investigación más detallada sobre las elasti- 
cidades con respecto al precio para funda- 
mentar mejor el diseño de los programas 
de subsidios como este. 


T 
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elegibilidad continuo, así como también un umbral o una puntuación 
límite que determina quién es elegible y quién no lo es. 

El diseño de regresión discontinua (DRD) es un método de evaluación de 
impacto que se puede utilizar en programas que tienen un índice de elegibi- 
lidad continuo con un umbral (puntuación límite) de elegibilidad definido 
con claridad para determinar quién es elegible y quién no lo es. A fin de 
aplicar un DRD, deben cumplirse las siguientes condiciones: 


1. El índice debe clasificar a las personas o unidades de una manera conti- 
nua o “fluida”. Índices como el de pobreza, las puntuaciones de las 
pruebas estandarizadas o la edad tienen numerosos valores que se pue- 
den ordenar de menor a mayor y, por lo tanto, se pueden considerar 
continuos. En cambio, las variables con categorías discretas que solo 
tienen unos pocos valores posibles o no se pueden ordenar, no se consi- 
deran continuas. Ejemplos de esta última clase son la condición laboral 
(empleado o desempleado), el nivel más alto de estudios alcanzado 
(primario, secundario, universitario o posgrado), la propiedad de un 
automóvil (sí o no) o el país de nacimiento. 


2. El índice debe tener una puntuación límite claramente definida, es decir, 
un punto por debajo o por encima del cual se clasifica a la población 
como elegible para el programa. Por ejemplo, los hogares con un índice 
de pobreza igual o menor a 50 sobre 100 se podrían clasificar como 
pobres, los individuos mayores de 67 años se podrían clasificar como ele- 
gibles para una jubilación, y los alumnos con una puntuación superior a 
90 sobre 100 podrían considerarse elegibles para una beca. Las puntua- 
ciones límite en estos ejemplos son 50, 67 y 90 respectivamente. 


3. La puntuación límite debe ser única para el programa de interés, es decir, Concepto clave 


aparte del programa que se evalúa, no debería haber otros programas que 
utilicen la misma puntuación límite. Por ejemplo, si un índice de pobreza 
por debajo de 50 clasifica a un hogar para recibir una transferencia de 
efectivo, un seguro de salud y transporte público gratis, no se podría uti- 
lizar el método DRD para estimar por sí solo el impacto del programa de 
transferencias de efectivo. 


4. La puntuación de un individuo o una unidad particular no puede ser 
manipulada por los encuestadores, los beneficiarios potenciales, los 
administradores del programa o los políticos. 


El DRD estima el impacto en torno a la puntuación límite de elegibilidad 
como la diferencia entre el resultado promedio de unidades del lado tratado 
de la puntuación límite de elegibilidad y el resultado promedio de unidades 
en el lado no tratado (comparación) de la puntuación límite. 
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Piénsese en un programa agrícola cuyo fin es aumentar la producción 
total de arroz subsidiando la compra de fertilizantes de los agricultores. El 
programa está destinado a fincas pequeñas y medianas con menos de 50 
hectáreas. Antes del comienzo del programa, se puede esperar que las fincas 
más pequeñas tengan una producción menor que las grandes, como se 
muestra en el gráfico 6.1, que ilustra el tamaño de la finca y la producción de 
arroz. En este caso, la puntuación de elegibilidad es el número de hectáreas 
de la finca, y la puntuación límite es de 50 hectáreas. Las reglas del pro- 
grama establecen que las fincas por debajo de 50 hectáreas son elegibles 
para recibir subsidios para fertilizantes, y las fincas de 50 o más hectáreas no 
lo son. Entonces, se puede prever que participará del programa una canti- 
dad de fincas de 48, 49 o incluso 49,9 hectáreas. Y habrá otro grupo con 50, 
50,1 y 50,2 hectáreas que no participará del programa, porque esas fincas 
superan la puntuación límite. Es probable que el grupo de fincas con 49,9 
hectáreas sea muy similar al grupo de aquellas que tienen 50,1 hectáreas en 
todos los aspectos, salvo que un grupo recibió el subsidio para fertilizantes y 
el otro no. A medida que nos alejamos de la puntuación límite de elegibili- 
dad, hay más diferencias entre las fincas elegibles. Sin embargo, la extensión 
de las fincas es una buena medida de sus diferencias, y permite controlar por 
una buena parte de esas diferencias. 


Gráfico 6.1 Producción de arroz, fincas pequeñas vs. fincas grandes 
(línea de base) 
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Una vez que el programa se pone en marcha y subvenciona el costo del 
fertilizante de las fincas pequeñas y medianas, la evaluación de impacto 
podría utilizar un DRD para evaluar su impacto (gráfico 6.2). El DRD cal- 
cula el impacto como la diferencia en los resultados, por ejemplo, de la pro- 
ducción de arroz, entre las unidades a ambos lados del límite de elegibilidad, 
que en este caso es un tamaño de finca de 50 hectáreas. Las fincas que eran 
demasiado grandes para inscribirse en el programa constituyen el grupo de 
comparación y generan una estimación del resultado contrafactual de esas 
fincas del grupo de tratamiento que eran justo lo suficientemente pequeñas 
para inscribirse. Dado que estos dos grupos eran muy similares en la línea de 
base y están expuestos al mismo conjunto de factores externos a lo largo del 
tiempo (como el clima, los shocks de precios y las políticas agrícolas locales 
y nacionales), el único motivo plausible de la diferencia en los resultados 
tiene que ser el propio programa. 

Dado que el grupo de comparación está compuesto por fincas que 
superan la puntuación de elegibilidad, el impacto dado por un DRD es 
válido solo “a nivel local”, es decir, en la cercanía del límite de elegibili- 
dad. De esta manera, se obtiene una estimación de un efecto local prome- 
dio del tratamiento (LATE) (véase el capítulo 5). El impacto del programa 
de subvenciones de fertilizantes es válido para las fincas más grandes 


Gráfico 6.2 Producción de arroz, fincas pequeñas vs. fincas grandes 
(seguimiento) 
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dentro de aquellas de tamaño medio, es decir, aquellas cuya extensión se 
halla justo por debajo de las 50 hectáreas. La evaluación de impacto no 
será necesariamente capaz de identificar directamente el impacto del 
programa en las fincas más pequeñas -por ejemplo, las de 10 o 20 hectá- 
reas de superficie-, donde los efectos de una subvención de los fertili- 
zantes podrían diferir en aspectos importantes de las fincas de tamaño 
medio de 48 o 49 hectáreas. Una ventaja del método DRD es que una vez 
que se aplican las reglas de elegibilidad del programa, no es preciso dejar 
a ninguna unidad elegible sin tratamiento para los fines de la evaluación 
de impacto. La otra cara de la moneda es que los impactos de las obser- 
vaciones lejos de la puntuación límite no se conocerán. El recuadro 6.2 
presenta un ejemplo del uso del DRD para evaluar un programa de redes 


de protección social en Jamaica. 
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Recuadro 6.2: Redes de protección social basadas en un índice de 


pobreza en Jamaica 


El método de diseño de regresión 
discontinua (DRD) se utilizó para evaluar el 
impacto de una iniciativa de redes de 
protección social en Jamaica. En 2001 el 
gobierno de este país lanzó el programa 
Advancement through Health and Education 
(PATH) (Salud y Educación para el Progreso) 
destinado a aumentar las inversiones en 
capital humano y mejorar la focalización de 
los beneficios de las prestaciones sociales 
para los pobres. El programa ofrecía 
subsidios de salud y educación a los niños 
de los hogares pobres elegibles, con la 
condición de que asistieran a la escuela y 
realizaran chequeos médicos de manera 
regular. El beneficio mensual promedio para 
cada niño fue de alrededor de US$6,50, 
además de una exención estatal de ciertas 
tasas en salud y educación. 

Después de determinar la elegibilidad 
para el programa con una fórmula de 


puntuación, Levy y Ohls (2010) pudieron 
comparar los hogares justo por debajo del 
umbral de elegibilidad con los hogares justo 
por encima (con una diferencia de entre 2 y 
15 puntos con respecto a la puntuación 
límite). Los investigadores justificaron el uso 
del método de DRD con datos de línea de 
base que mostraban que los hogares de 
tratamiento y comparación tenían niveles 
similares de pobreza, medidos por las pun- 
tuaciones de tipo “proxy mean” y niveles 
similares de motivación, dado que todos los 
hogares de la muestra habían postulado al 
programa. Los investigadores también utili- 
zaron la puntuación de elegibilidad del pro- 
grama en el análisis de regresión para 
controlar por cualquier diferencia entre 
ambos grupos. 

Levy y Ohls (2010) llegaron a la conclusión 
de que el programa PATH aumentaba la 
asistencia escolar de los niños de entre 6 y 


Continúa en la página siguiente. 
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Recuadro 6.2: Redes de protección social basadas en un índice de pobreza en Jamaica (continúa) 


17 años en una media de 0,5 días al mes, lo 
cual es significativo, dado que la tasa de 
asistencia ya era bastante alta (85%). 
Además, las visitas a los centros de salud de 
niños de O a 6 años aumentaron en alrededor 
de un 38%. Aunque los investigadores no 
pudieron encontrar ningún impacto de más 
largo plazo en los logros escolares ni en la 
condición de salud, llegaron a la conclusión 


de que la magnitud de los impactos que 
hallaron era en general consistente con los 
programas de transferencias condicionadas 
implementados en otros países. Un aspecto 
final interesante de esta evaluación es 
que recopiló tanto datos cuantitativos 
como cualitativos, utilizando sistemas de 
información, entrevistas, grupos focales y 
encuestas de hogares. 


Fuente: Levy y Ohls (2010). 


El diseño de regresión discontinua difuso 


Aun cuando se haya verificado que no existe evidencia de manipulación en 
el índice de elegibilidad, puede que todavía persista un problema si las uni- 
dades no respetan su asignación al grupo de tratamiento o de compara- 
ción. En otras palabras, algunas unidades que tienen derecho al programa 
sobre la base de su índice de elegibilidad pueden decidir no participar, 
mientras que otras unidades que no tenían derecho al programa sobre la 
base de su índice de elegibilidad pueden encontrar un modo de participar 
de todas maneras. Cuando todas las unidades cumplen con la asignación 
que les corresponde sobre la base de su índice de elegibilidad, se dice que 
el DRD es “nítido”, y si hay incumplimiento en alguno de los lados de la 
puntuación límite, se dice que el DRD es “difuso” (gráfico 6.3). Siel DRD es 
difuso, se puede utilizar el enfoque de variable instrumental para corregir 
por la falta de cumplimiento (véase el capítulo 5). Recuérdese que en el 
caso de la asignación aleatoria con incumplimiento, se utiliza la asignación 
aleatoria como la variable instrumental que ayudó a corregir por la falta de 
cumplimiento. En el caso del DRD, se puede usar la asignación original 
basada en el índice de elegibilidad como variable instrumental. Sin 
embargo, hacerlo tiene un inconveniente, a saber, que la estimación de 
impacto con el DRD instrumental será más localizada en el sentido de que 
ya no es válida para todas las observaciones cercanas a la puntuación límite 
sino que representa el impacto para el subgrupo de la población situada 
cerca de la puntuación límite y que participa en el programa solo debido a 
los criterios de elegibilidad. 
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Gráfico 6.3 Cumplimiento de la asignación 


a. DRD nítido b. DRD difuso 
(pleno cumplimiento) (cumplimiento incompleto) 
° ° 
© © I 
S S l El S I 
a a 100 zz o 3 100 
5 D 
28 oS — 
ge 50+ e 50 
ES ES i 
š = | ° | 
5 10 4 2 10 
30 40 50 60 70 80 30 40 50 60 70 80 
Índice de pobreza de la Índice de pobreza de la 
línea de base línea de base 


Verificación de la validez del diseño de regresión 
discontinua 


Para que un DRD produzca una estimación LATE no sesgada de la puntua- 
ción límite, es importante que el índice de elegibilidad no sea manipulado en 
la cercanía de la puntuación límite de modo que un individuo pueda cambiar 
su condición de tratamiento o control.? La manipulación de los criterios de 
elegibilidad puede adoptar numerosas formas. Por ejemplo, los encuestadores 
que recopilan los datos que se utilizan para calcular la puntuación de elegibi- 
lidad podrían cambiar una o dos respuestas de los encuestados; o puede que 
los encuestados mientan deliberadamente a los encuestadores si creen que 
con eso tendrán acceso al programa. Además, la manipulación de las 
puntuaciones puede agravarse a lo largo del tiempo, a medida que los encues- 
tadores, los encuestados y los políticos comienzan a aprender las “reglas del 
juego”. En el ejemplo de la subvención de los fertilizantes, la manipulación en 
torno al límite se produciría si los agricultores pudieran alterar los títulos de 
propiedad o si dieran informes falsos sobre el tamaño de sus fincas. O un 
agricultor con 50,3 hectáreas de tierra podría encontrar una manera de vender 
media hectárea para ser elegible para el programa, en el caso de que los bene- 
ficios previstos de la subvención a los fertilizantes merecieran la pena hacerlo. 

Una de las señales que delata la manipulación se ilustra en el gráfico 6.4. 
El panel (a) muestra la distribución de los hogares según su índice de línea 
de base cuando no hay manipulación. La densidad de los hogares en torno al 
límite (50) es continua (o fluida). El panel (b) presenta una situación dife- 
rente: un número mayor de hogares parecen estar agrupados justo por 
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Gráfico 6.4 Manipulación del índice de elegibilidad 
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Recuadro 6.3: El efecto en el desempeno escolar de la agrupacion 
de alumnos según sus puntuaciones en las pruebas educativas 


en Kenia 


Para comprobar si la asignación de alumnos 
a clases sobre la base del desempeño mejora 
los resultados educativos, Duflo, Dupas y 
Kemer (2011) llevaron a cabo un experimento 
con 121 escuelas primarias en la región occi- 
dental de Kenia. En la mitad de las escuelas, 
los alumnos de primer grado fueron distribui- 
dos de forma aleatoria en dos diferentes sec- 
ciones de la clase. En la otra mitad de los 
colegios, los alumnos fueron asignados a 
una sección de alto o de bajo desempeño 
según sus puntuaciones en las pruebas ini- 
ciales, usando la puntuación de las pruebas 
educativas como punto límite. 

El diseño de regresión discontinua (DRD) 
les permitió comprobar a los autores si la com- 
posición de los alumnos de una clase tenía un 
efecto directo en las puntuaciones de las prue- 
bas. Los investigadores compararon las pun- 
tuaciones finales de las pruebas de los alumnos 
justo en torno al límite para ver si aquellos asig- 
nados a la sección de alto desempeño tenían 


Fuente: Duflo, Dupas y Kemer (2011). 


Diseño de regresión discontinua 


mejores resultados que aquellos asignados a 
la sección de bajo desempeño. 

En promedio, las puntuaciones de las prue- 
bas finales de los colegios que agruparon 
estudiantes en clases con niveles similares de 
desempeño fueron 0,14 desviaciones están- 
dar más altas que en el caso de los colegios 
que no usaron este método y en cambio utili- 
zaron la asignación aleatoria para crear grupos 
equivalentes de estudiantes. Estos resultados 
no fueron solo producto de los alumnos en las 
secciones de alto desempeño, dado que los 
estudiantes de la sección de bajo desempeño 
también mostraron mejoras en las puntuacio- 
nes de las pruebas. En el caso de los alumnos 
justo en torno a la puntuación límite, los inves- 
tigadores encontraron que no había una dife- 
rencia significativa en las puntuaciones finales 
de las pruebas. Estas conclusiones rechazan 
la hipótesis de que los alumnos se benefician 
directamente al tener compañeros de clase 
con un desempeño superior. 
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debajo del límite, mientras que hay relativamente pocos hogares justo por 
encima del límite. Dado que no hay un motivo a priori para creer que debe- 
ría haber un gran cambio en el número de hogares justo en torno al límite, la 
ocurrencia de ese cambio en la distribución en torno al límite es una prueba 
de que de alguna manera los hogares pueden estar manipulando sus pun- 
tuaciones para tener acceso al programa. Una segunda prueba de manipula- 
ción grafica el índice de elegibilidad en relación con la variable de resultado 
en la línea de base y verifica que no haya discontinuidad, o un “salto”, justo 
en torno a la línea del límite. 
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Piénsese en cómo se puede aplicar el método de diseño de regresión 
discontinua (DRD) al Programa de Subsidios de Seguros de Salud (HISP). 
Después de llevar a cabo investigaciones sobre el diseño del HISP, se 
descubre que además de seleccionar aleatoriamente los pueblos de trata- 
miento, las autoridades localizaron el programa en los hogares de bajos 
ingresos utilizando la línea nacional de pobreza. La línea de la pobreza se 
basa en un índice de pobreza que asigna a cada hogar en el país una pun- 
tuación entre 20 y 100 en función de sus activos, las condiciones de la 
vivienda y la estructura sociodemográfica. La línea de pobreza ha sido 
fijada oficialmente en 58. Esto significa que todos los hogares con una 
puntuación de 58 o menos se clasifican como pobres, y que todos los 
hogares con una puntuación de más de 58 se consideran no pobres. 
Incluso en los pueblos de tratamiento, solo los hogares pobres son elegi- 
bles para inscribirse en el HISP. La base de datos con la que se cuenta 
contiene información tanto de los hogares pobres como de los no pobres 
en las comunidades de tratamiento. 

Antes de llevar a cabo las estimaciones del diseño de regresión discon- 
tinua, se decide verificar si hay evidencia de manipulación del índice de 
elegibilidad. Como primera medida, se verifica si la densidad del índice 
de elegibilidad suscita alguna preocupación a propósito de la manipula- 
ción del índice. Luego se grafica el porcentaje de hogares en contraste con 
el indice de pobreza de la linea de base (gráfico 6.5).* El grafico no señala 
ninguna “concentración” de los hogares justo por debajo del límite de 58. 

A continuación, se verifica si los hogares respetaron su asignación a 
los grupos de tratamiento y comparación sobre la base de su puntuación 
de elegibilidad. Se gráfica la participación en el programa en contraste 
con el indice de pobreza de linea de base (gráfico 6.6) y se observa que 
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Gráfico 6.5 HISP: densidad de los hogares, según el indice de pobreza de 
línea de base 
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Gráfico 6.6 Participación en el HISP según el índice de pobreza de línea 
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dos años después del comienzo del plan piloto, solo los hogares con una 
puntuación de 58 o menos (es decir, a la izquierda de la línea de la 
pobreza) han podido inscribirse en el HISP. Además, todos los hogares 
elegibles se inscribieron en el HISP. En otras palabras, se observa un 
cumplimiento total, por lo cual se obtiene un DRD “nítido”. 

A continuación, se procede a aplicar el método de DRD para calcular 
el impacto del programa. Utilizando datos del seguimiento, se vuelve a 
graficar la relación entre las puntuaciones en el índice de pobreza y los 
gastos previstos en salud, y se observa la relación que se ilustra en el 
gráfico 6.7. En la relación entre el índice de pobreza y los gastos previstos 
en salud, se encuentra una clara ruptura, o discontinuidad de la línea de 
pobreza (58). 

La discontinuidad refleja una disminución de los gastos en salud en 
aquellos hogares elegibles para beneficiarse del programa. Dado que los 
hogares en ambos lados de la puntuación límite de 58 son muy similares, 
la explicación plausible de la diferencia en el nivel de gastos en salud es 
que un grupo de los hogares era elegible para inscribirse en el programa 
y el otro no. Esta diferencia se estima a través de una regresión con los 
datos recogidos en el cuadro 6.1. 


Gráfico 6.7 Índice de pobreza y gastos en salud: el HISP dos años después 
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Cuadro 6.1 Evaluación del HISP: diseño de regresión discontinua con 
análisis de regresión 


Regresión lineal multivariante 


Impacto estimado en el gasto en salud de -9,03** 
los hogares (0,43) 


Nota: Los errores estándar están entre paréntesis. ** Significativo al nivel del 1%. 


A 
2 Pregunta HISP 5 


A. El resultado que se refleja en el cuadro 6.1, ¿es válido para todos los 
hogares elegibles? 

B. En comparación con el impacto estimado con la asignación aleatoria, 
¿qué dice este resultado con respecto a los hogares con un índice de 
pobreza justo por debajo de 58? 

C. De acuerdo con las estimaciones de impacto del DRD, ¿se debería 
ampliar el HISP a nivel nacional? 


Limitaciones e interpretaciones del método de 
diseño de regresión discontinua 


El diseño de regresión discontinua proporciona estimaciones del LATE en 
torno al límite de elegibilidad en el punto en que las unidades de trata- 
miento y comparación son más similares. Cuanto más se acerque uno a la 
puntuación límite, más similares serán las unidades a cada lado del umbral. 
De hecho, si uno se aproxima mucho a la puntuación límite, las unidades a 
ambos lados del umbral serán tan similares que su comparación será tan 
buena como si los grupos de tratamiento y de comparación se hubieran 
elegido mediante la asignación aleatoria del tratamiento. 

Dado que el método de DRD estima el impacto del programa en torno a 
la puntuación límite, o localmente, la estimación no se puede necesaria- 
mente generalizar a unidades cuyas puntuaciones se alejan más del umbral, 
es decir, donde los individuos elegibles y no elegibles quizá no sean tan 
similares. El hecho de que el método de DRD no pueda proporcionar una 
estimación de un efecto de tratamiento promedio para todos los participan- 
tes del programa puede verse a la vez como una fortaleza y como una limita- 
ción, lo cual depende de la pregunta de la evaluación de interés. Si la 
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evaluación pretende responder la pregunta ¿el programa debería existir o 
no?, el efecto de tratamiento promedio para toda la población elegible puede 
ser el parámetro más relevante, y es evidente que el DRD no será del todo 
perfecto. Sin embargo, si la cuestión de interés para las políticas es ¿el pro- 
grama debería suspenderse o ampliarse? -es decir, para los beneficiarios 
(potenciales) justo en las inmediaciones del limite-, el DRD produce preci- 
samente la estimación local de interés para sustentar esta importante deci- 
sión de política. 

Como ya se señaló, pueden surgir otras complicaciones cuando el cum- 
plimiento en cualquiera de los dos lados del límite es imperfecto. Este DRD 
difuso se produce cuando las unidades que no son elegibles debido a su pun- 
tuación en el índice consiguen tener acceso al programa, o cuando las unida- 
des elegibles según la puntuación del índice deciden no participar en el 
programa. En este caso, se puede utilizar una metodología de variable ins- 
trumental similar a la definida en el capítulo 5, a saber, la localización de las 
unidades por encima o por debajo de la puntuación límite se usará como 
variable instrumental para la participación observada en el programa. Como 
sucedía en los ejemplos del capítulo 5, esto tiene un inconveniente: solo se 
puede estimar el impacto de aquellas unidades que son “sensibles” al crite- 
rio de elegibilidad, esto es si se trata del tipo Inscrito si es elegible, pero no si 
se trata del tipo Siempres o Nuncas. 

El hecho de que el método de DRD estime el impacto solo en las inmedia- 
ciones de las puntuaciones límite también genera dificultades en términos 
de la potencia estadística del análisis. En ocasiones, solo se emplea en el aná- 
lisis un conjunto limitado de observaciones que se sitúan cerca de la puntua- 
ción límite, con lo cual el número de observaciones en el análisis de DRD se 
reduce, en comparación con los métodos que analizan todas las unidades en 
los grupos de tratamiento y comparación. Para obtener una potencia esta- 
distica suficiente al aplicar el DRD, habrá que utilizar un ancho de banda en 
torno a la puntuación límite que incluya un número suficiente de observa- 
ciones. En la práctica, se debería intentar utilizar un ancho de banda lo más 
amplio posible, a la vez que se conserva el equilibrio en las características 
observadas de la población por encima y por debajo de la puntuación límite. 
Luego, se puede aplicar la estimación varias veces usando diferentes anchos 
de banda para verificar si las estimaciones son sensibles al ancho de banda 
utilizado. 

Es necesario formular otra advertencia al utilizar el método de DRD, a 
saber, la especificación puede ser sensible a la forma funcional que se emplea 
para modelar la relación entre la puntuación de elegibilidad y el resultado 
de interés. En los ejemplos presentados en este capítulo, se da por sentado 
que la relación entre el índice de elegibilidad y el resultado es lineal. En rea- 
lidad, la relación podría ser más compleja, e incluir relaciones no lineales e 
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interacciones entre variables. Si uno no se da cuenta de estas relaciones 
complejas en la estimación, se las puede confundir con una discontinuidad, 
lo que llevaría a una interpretación incorrecta de la estimación de impacto 
con DRD. En la práctica, se puede estimar el impacto del programa utili- 
zando diversas formas funcionales (lineales, cuadráticas, cúbicas, cuárticas, 
y otras similares) para evaluar si, de hecho, las estimaciones de impacto son 
sensibles a la forma funcional. 

Por último, como se señala más arriba, hay unas cuantas condiciones 
importantes para la regla de elegibilidad y el umbral. En primer lugar, deben 
ser únicos del programa de interés. Por ejemplo, puede utilizarse un índice 
de pobreza que establezca un ranking de hogares o individuos para focalizar 
una diversidad de programas sociales para los pobres. En este caso, no será 
posible aislar el impacto de un solo programa de lucha específica contra la 
pobreza de todos los demás programas que utilizan los mismos criterios de 
focalización. En segundo lugar, la regla de elegibilidad y el umbral deberían 
ser resistentes a la manipulación de los encuestadores, los beneficiarios 
potenciales, los administradores de los programas o los políticos. La mani- 
pulación del índice de elegibilidad crea una discontinuidad en el índice que 
socava la condición básica para que el método funcione, a saber, que el índice 
de elegibilidad debería ser continuo en torno al umbral. 

Incluso con estas limitaciones, el DRD es un poderoso método de evalua- 
ción de impacto para generar estimaciones no sesgadas del impacto de un 
programa en la cercanía del límite de elegibilidad. El DRD aprovecha las 
reglas de asignación del programa, a partir de índices de elegibilidad conti- 
nuos, que ya son habituales en numerosos programas sociales. Cuando se 
aplican las reglas de focalización basadas en el índice, no es necesario excluir 
un grupo de hogares o individuos elegibles como beneficiarios del trata- 
miento a los fines de la evaluación, porque se puede utilizar el diseño de 
regresión discontinua como alternativa. 


Lista de verificación: diseño de regresión 
discontinua 


El DRD requiere que el índice de elegibilidad sea continuo en torno a la pun- 
tuación límite, y que las unidades sean similares en las cercanías por encima 
o por debajo de la puntuación límite. 


Y” ¿Es continuo el índice en torno la puntuación límite en el momento de la 
línea de base? 


v ¿Hay alguna evidencia de falta de cumplimiento de la regla que determine 
la elegibilidad para el tratamiento? Compruébese que todas las unidades 
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elegibles y ninguna unidad no elegible han recibido el tratamiento. Si se 
encuentra falta de cumplimiento, habrá que combinar el DRD con un 
enfoque de variable instrumental para corregir esta “discontinuidad 


difusa”.* 


Y” ¿Hay alguna evidencia de que las puntuaciones del índice puedan haber 
sido manipuladas con el fin de influir en quien tenía derecho a benefi- 
ciarse del programa? Compruébese si la distribución de la puntuación del 
índice es fluida en el punto límite. Si se halla evidencia de una “concen- 
tración” de puntuaciones ya sea por encima o por debajo del punto límite, 
puede que esto sea una señal de manipulación. 


Y” ¿El umbral corresponde a un único programa que se está evaluando o 
está siendo usado por otros programas también? 


Otros recursos 


e Para material de apoyo de este libro y para hipervínculos de otros recur- 
sos, se recomienda consultar el sitio web de Evaluación de Impacto en la 
Práctica (http://wwwworldbank.org/ieinpractice). 


e Para información acerca de la evaluación de un programa de transferen- 
cias de efectivo utilizando un DRD, véase la entrada en el blog de impacto 
del desarrollo del Banco Mundial  http://blogsworldbank.org 
/impactevaluations/. 


e Para una revisión de los temas prácticos en la implementación del DRD, 
véase G. Imbens y T. Lemieux (2008), “Regression Discontinuity Designs: 
A Guide to Practice” Journal of Econometrics 142 (2): 615-35. 


Notas 


1. En ocasiones, esto se denomina prueba de medias proxy. 

2. El índice de elegibilidad continuo a veces se denomina variable forzada. 

3. Nota técnica: la densidad se estimó utilizando el método de estimación univa- 
riante del núcleo de Epanechnikov. 

4. En este caso, se utilizaría la localización a la izquierda o la derecha del punto 
límite como variable instrumental para la aceptación del programa en la 
práctica en la primera etapa de una estimación de mínimos cuadrados en dos 
etapas. 
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CAPÍTULO 7 


Diferencias en diferencias 


Evaluación de un programa cuando la regla de 
asignación es menos clara 


Los tres métodos de evaluación de impacto analizados hasta ahora, 
asignación aleatoria, variables instrumentales (VI) y diseño de regresión 
discontinua (DRD), estiman el contrafactual mediante reglas explícitas de 
asignación del programa que el equipo de evaluación conoce y entiende. Se 
ha visto por qué estos métodos ofrecen estimaciones creíbles del contrafac- 
tual haciendo relativamente pocas suposiciones e imponiendo pocas condi- 
ciones. Los dos próximos tipos de métodos, diferencias en diferencias (DD) 
y pareamiento, ofrecen al equipo de evaluación herramientas adicionales 
que pueden aplicarse cuando las reglas de asignación del programa son 
menos claras o cuando no es factible ninguno de los tres métodos antes des- 
critos. En casos como este, se suele utilizar tanto el método de diferencias 
en diferencias como el de pareamiento. Sin embargo, ambos también 
requieren supuestos más fuertes que la asignación aleatoria, o los métodos 
de VI o DRD. Se entiende que si no se conoce la regla de asignación del pro- 
grama, hay una incógnita más en la evaluación, acerca de la cual se deben 
formular supuestos. Dado que los supuestos no son necesariamente verda- 
deros, puede que el método de diferencias en diferencias o el de parea- 
miento no siempre proporcionen estimaciones fiables de los impactos de 
los programas. 
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Concepto clave 


El método de 
diferencias en 
diferencias compara 
los cambios en los 
resultados a lo largo 
del tiempo entre 
unidades inscritas en 
un programa (el grupo 
de tratamiento) y 
unidades que no lo 
están (el grupo de 
comparación). Esto 
permite corregir 
cualquier diferencia 
entre los grupos de 
tratamiento y 
comparación que sea 
constante a lo largo 
del tiempo. 
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El método de diferencias en diferencias 


El método de diferencias en diferencias contrasta las diferencias en los 
resultados a lo largo del tiempo entre una población inscrita en un programa 
(el grupo de tratamiento) y una población no inscrita (el grupo de compara- 
ción). Piénsese, por ejemplo, en un programa de reparación de carreteras 
que se lleva a cabo a nivel de distrito pero que no se puede asignar aleatoria- 
mente entre distritos ni se asigna sobre la base de un índice con un umbral 
claramente definido, lo cual permitiría un diseño de regresión discontinua. 
Las juntas de los distritos pueden decidir inscribirse o no inscribirse en el 
programa. Uno de los objetivos del programa consiste en mejorar el acceso 
de la población a los mercados laborales, y uno de los indicadores de resul- 
tados es la tasa de empleo. Como se analizó en el capítulo 3, el solo hecho de 
observar el cambio antes y después en las tasas de empleo en los distritos 
que se inscriben en el programa no capturará el impacto causal del pro- 
grama porque es probable que muchos otros factores influyan en el empleo 
alo largo del tiempo. A la vez, comparar los distritos que se inscribieron y los 
que no se inscribieron en el programa de reparación de carreteras será pro- 
blemático si existen motivos no observables por los que algunos distritos se 
inscribieron en el programa y otros no lo hicieron (el problema de sesgo de 
selección en el escenario de inscritos versus no inscritos). 

Sin embargo, ¿qué pasaría si se combinan los dos métodos y se comparan 
los cambios antes-después en los resultados de un grupo que se inscribió en 
el programa con los cambios antes-después de un grupo que no se inscribió 
en el programa? La diferencia en los resultados antes-después para el grupo 
inscrito -la primera diferencia- controla por factores que son constantes a lo 
largo del tiempo en ese grupo, puesto que se está comparando el propio 
grupo consigo mismo. Sin embargo, todavía quedan los factores externos 
que varían con el tiempo (factores variables en el tiempo) en este grupo. Una 
manera de capturar esos factores que varían en el tiempo es medir el cambio 
antes-después en los resultados de un grupo que no se inscribió en el pro- 
grama pero que estuvo expuesto al mismo conjunto de condiciones ambien- 
tales (la segunda diferencia). Si se “limpia” la primera diferencia de otros 
factores variables en el tiempo que influyen en el resultado de interés sustra- 
yendo la segunda diferencia, se habrá eliminado una fuente de sesgo que 
resultaba preocupante en las comparaciones sencillas antes-después. El 
enfoque de diferencias en diferencias hace lo que su nombre sugiere: com- 
bina las dos estimaciones falsas del contrafactual (comparaciones antes-des- 
pués y comparaciones entre quienes se inscriben y quienes deciden no 
hacerlo) para producir una mejor estimación del contrafactual. En el ejem- 
plo del programa de reparación de carreteras, el método DD podría compa- 
rar los cambios en el empleo antes y después de que se ponga en marcha el 
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programa en los individuos que viven en distritos que lo introdujeron con los 
cambios en el empleo en los distritos donde no se implementó el programa. 

Es importante señalar que el contrafactual que se estima en este caso es 
el cambio en los resultados del grupo de tratamiento. La estimación de este 
contrafactual es el cambio en los resultados del grupo de comparación. Los 
grupos de tratamiento y comparación no tienen necesariamente que tener 
las mismas condiciones antes de la intervención. Sin embargo, para que el 
método de diferencias en diferencias sea válido, el grupo de comparación 
debe mostrar con precisión el cambio en los resultados que habría experi- 
mentado el grupo de tratamiento en ausencia de tratamiento. Para aplicar 
diferencias en diferencias, hay que medir los resultados en el grupo que se 
beneficia del programa (el grupo de tratamiento) con los resultados del 
grupo que no se beneficia (el grupo de comparación), tanto antes como des- 
pués del programa. En el recuadro 7.1, se presenta un ejemplo de utilización 
del método DD para entender el impacto de los incentivos electorales en la 
implementación de un programa de transferencias condicionadas aplicado 
en Brasil y en las tasas de deserción escolar. 


Recuadro 7.1: Utilización del método DD para entender el impacto 
de los incentivos electorales en las tasas de abandono escolar en 


Brasil 


En un estudio empírico sobre los incentivos 
electorales locales, De Janvry, Finan y Sadoulet 
(2011) analizan los impactos de un programa 
de transferencias condicionadas en Brasil. El 
programa Bolsa Escola entregaba a las madres 
de los hogares pobres una mensualidad con la 
condición de que sus hijos asistieran a la 
escuela. Se trataba de un programa federal 
similar al de Oportunidades de México (véanse 
los recuadros 1.1 y 4.2), pero a nivel municipal. 
Las municipalidades eran las encargadas de 
identificar a los beneficiarios e implementar el 
programa. 

Utilizando el método de diferencias en 
diferencias, los autores estimaron el impacto 
del programa en las tasas de abandono 
escolar, y encontraron una variación notable 
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en el desempeño del programa en las dife- 
rentes municipalidades. Para explorar esta 
variación, los investigadores compararon la 
mejora en las tasas de abandono escolar en 
los municipios cuyos alcaldes ejercían su pri- 
mer mandato con los municipios donde los 
alcaldes ya estaban en su segundo man- 
dato. Su hipótesis era que, dado que en 
Brasil existe un límite de dos mandatos para 
los cargos locales, a los alcaldes que se 
hallaban en su primer mandato les preocu- 
paba su reelección y, por lo tanto, actuaban 
de manera diferente que los alcaldes que 
ejercían ya en su segundo mandato, que no 
tenían esas preocupaciones. 

En general, el programa tuvo éxito y redujo 
las tasas de abandono escolar en un promedio 


Continúa en la página siguiente. 
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Recuadro 7.1 Utilización del método DD para entender el impacto de los incentivos electorales en las 


tasas de abandono escolar en Brasil (continúa) 

del 8% entre los beneficiarios. Los investiga- 
dores observaron que el impacto del pro- 
grama era un 36% mayor en los municipios 
cuyos alcaldes ejercían su primer mandato. 


Fuente: De Janvry, Finan y Sadoulet (2011). 


Su conclusión fue que las preocupaciones 
acerca de la reelección incentivaron a los polí- 
ticos locales a aumentar sus esfuerzos en la 
implementación del programa Bolsa Escola. 


Gráfico 7.1 El método de diferencias en diferencias 
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resultados en el eje vertical. 


El gráfico 7.1 ilustra el método de diferencias en diferencias en el ejemplo 
de la reparación de carreteras. El año 0 es el año de linea de base. En el año 
1 se inscribe en el programa un grupo de distritos de tratamiento, mientras 
que no lo hace un grupo de distritos de comparación. El nivel de los resulta- 
dos (la tasa de empleo) en el grupo de tratamiento va de A, antes del 
comienzo del programa, a B, después del comienzo del programa, mientras 
que el resultado para el grupo de comparación va de C, antes del comienzo 
del programa, a D, después del comienzo del programa. 

Recuérdense los dos falsos contrafactuales: la diferencia de los resulta- 
dos antes y después de la intervención en el grupo de tratamiento (B-A) y la 
diferencia de los resultados después de la intervención entre los grupos de 
tratamiento y de comparación (B-D). Con las diferencias en diferencias, la 
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estimación del contrafactual se obtiene calculando el cambio en los resul- 
tados del grupo de comparación (D-C) y luego sustrayéndolo del cambio en 
los resultados del grupo de tratamiento (B-A). Utilizar el cambio en los 
resultados del grupo de comparación como la estimación del contrafactual 
para el cambio en los resultados del grupo de tratamiento es similar a supo- 
ner que si el grupo que se inscribió no hubiera participado en el programa, 
sus resultados habrían evolucionado a lo largo del tiempo siguiendo la 
misma tendencia que el grupo que no se inscribió, es decir, la evolución en 
el resultado del grupo inscrito habría ido de A a E, como se muestra en el 
grafico 7.1. 

En resumen, el impacto del programa se computa simplemente como la 
diferencia entre dos diferencias: 


Impacto de la DD = (B - A) - (D - O = (0,74 - 0,60) - (0,81 - 0,78) = 0,11. 


Las relaciones que se muestran en el gráfico 7.1 también pueden presen- 
tarse en un cuadro sencillo. El cuadro 7.1 describe los componentes de las 
estimaciones de diferencias en diferencias. La primera línea contiene los 
resultados del grupo de tratamiento antes de la intervención (4) y después 
de la intervención (B). La comparación antes-después del grupo de trata- 
miento es la primera diferencia (B-A). La segunda línea contiene los resul- 
tados del grupo de comparación antes de la intervención (C) y después de 
la intervención (D), de modo que la segunda diferencia es (D-C). 

El método de diferencias en diferencias computa la estimación del impacto 
de la siguiente manera: 


1. Se calcula la diferencia del resultado (Y) entre las situaciones antes y 
después para el grupo de tratamiento (B - A). 


Cuadro 7.1 Cálculo del método de diferencias en diferencias 


Después Antes Diferencia 
Tratamiento/inscritos B A B-A 
Comparación/no inscritos D C D-C 
Diferencia B-D A-C DD=(B-A)-(D-C) 

Después Antes Diferencia 
Tratamiento/inscritos 0,74 0,60 0,14 
Comparación/no inscritos 0,81 0,78 0,03 
Diferencia 0,07 -0,18 DD=0,14- 0,03 = 0,11 
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2. Se calcula la diferencia del resultado (Y) entre las situaciones antes y des- 
pués para el grupo de comparación (D - C). 


3. A continuación, se calcula la diferencia entre la diferencia en los resulta- 
dos del grupo de tratamiento (B - A) y la diferencia del grupo de compa- 
ración (D - O), o DD = (B - A) - (D - O). Estas diferencias en diferencias 
constituyen la estimación del impacto. 


También se consideran las diferencias en diferencias en la dirección contra- 
ria: se calcula primero la diferencia en el resultado entre el grupo de trata- 
miento y el de comparación en la situación después; luego se calcula la 
diferencia en el resultado entre el grupo de tratamiento y de comparación 
en la situación antes, y finalmente se sustrae este último del primero. 


Impacto DD = (B - D) - (A - O = (0,74 - 0,81) - (0,60 - 0,78) = 0,11. 


¿Qué utilidad tiene el método de diferencias en 
diferencias? 


Para entender la utilidad de este método, debe tomarse nuestro segundo 
contrafactual falso, analizado en el capitulo 3, que comparaba las unidades 
inscritas con las no inscritas en un programa. Recuérdese que la principal 
preocupación en este caso era que las dos series de unidades pudieran tener 
características diferentes y que pueden ser dichas características -y no el 
programa- las que explican la diferencia en los resultados entre los dos gru- 
pos. Las diferencias no observadas en las características eran especialmente 
preocupantes: por definición, es imposible incluir las características no 
observables en el análisis. 

El método de diferencias en diferencias contribuye a resolver este pro- 
blema en la medida en que se puede razonablemente suponer que muchas 
características de las unidades o personas son constantes a lo largo del 
tiempo (o invariables en el tiempo). Piénsese, por ejemplo, en características 
observables, como el año de nacimiento de una persona, la ubicación de una 
región con respecto al océano, la altura de la ciudad o el nivel de educación 
de los padres. Es probable que la mayoría de estos tipos de variables, aunque 
posiblemente relacionadas con los resultados, no cambien en el transcurso 
de una evaluación. Con el mismo razonamiento, podría llegarse a la conclu- 
sión de que muchas características no observables de los individuos tam- 
bién son más o menos constantes a lo largo del tiempo. Piénsese, por 
ejemplo, en los rasgos de la personalidad o el historial de salud de la familia. 
Es posible que estas características intrínsecas de las personas no cambien 
con el tiempo. 
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En lugar de contrastar los resultados entre los grupos de tratamiento y 
comparación después de la intervención, los métodos de diferencias en 
diferencias estudian las tendencias entre los grupos de tratamiento y compa- 
ración. La tendencia de un individuo es la diferencia en los resultados para 
ese individuo antes y después del programa. Al sustraer la situación de los 
resultados antes de la situación después, se anula el efecto de todas las carac- 
terísticas que son únicas de ese individuo y que no cambian a lo largo del 
tiempo. En realidad, se está anulando (o controlando) no solo el efecto de 
características observables invariables en el tiempo, sino también el efecto 
de características no observables invariables en el tiempo, como las ya men- 
cionadas. En el recuadro 7.2 se describe un estudio que utilizó el método de 
diferencias en diferencias para estimar el impacto de una mayor presencia 
policial en la incidencia de robos de vehículos en Buenos Aires. 


Concepto clave 

En lugar de contrastar 
resultados entre los 
grupos de tratamiento 
y comparación 
después de la 
intervención, los 
métodos de 
diferencias en 
diferencias comparan 
las tendencias entre 
ambos grupos. 


Recuadro 7.2: Aplicación del método de diferencias en diferencias 


para estudiar los efectos del despliegue policial en la tasa de 


delitos en Argentina 


DiTella y Schargrodsky (2005) analizaron si un 
mayor despliegue de las fuerzas policiales redu- 
cía los delitos en Argentina. En 1994 un ataque 
terrorista contra un importante centro judío en 
Buenos Aires llevó al gobierno argentino a 
aumentar la protección policial de los edificios 
relacionados con instituciones judías en el país. 

Con el objetivo de entender el impacto de 
la presencia policial en la incidencia del 
delito, los autores recopilaron datos sobre el 
número de robos de vehículos por manzana 
en tres barrios en Buenos Aires antes y des- 
pués del ataque terrorista. Luego combina- 
ron esta información con datos geográficos 
sobre la ubicación de instituciones judías en 
aquellos barrios. Este estudio presentó un 
enfoque diferente de las habituales regresio- 
nes utilizadas en la lucha contra el crimen. 
Los trabajos sobre el impacto de la presencia 
policial a menudo se enfrentan a un pro- 
blema de endogeneidad, puesto que los 
gobiernos tienden a aumentar la presencia 


Fuente: DiTella y Schargrodsky (2005). 
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policial en zonas con tasas de delitos más 
altas. En cambio, el incremento en el des- 
pliegue de la fuerza policial en Argentina no 
estaba relacionado en absoluto con la inci- 
dencia de los robos de vehículos, de modo 
que el estudio no sufre de este problema de 
causalidad simultánea. DiTella y Schargrodsky 
utilizaron el método de diferencias en dife- 
rencias para estimar el impacto de la mayor 
presencia policial en la incidencia de los 
robos de vehículos. 

Los resultados revelaron un efecto disua- 
sorio positivo de la presencia policial en los 
delitos. Sin embargo, este efecto era locali- 
zado. En las manzanas donde había edificios 
relacionados con instituciones judías que 
tenían protección policial, los robos de vehí- 
culos disminuyeron significativamente en 
comparación con otras manzanas, a saber, 
en un 75%. Los investigadores no encontra- 
ron impactos en los robos de vehículos a una 
o dos manzanas de los edificios protegidos. 
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El supuesto de “tendencias iguales” en el 
método de diferencias en diferencias 


A pesar de que las diferencias en diferencias permiten tener en cuenta las 
diferencias entre los grupos de tratamiento y comparación que son constan- 
tes a lo largo del tiempo, no ayudan a eliminar las diferencias entre los gru- 
pos de tratamiento y de comparación que cambian con el tiempo. En el 
ejemplo del programa de reparación de carreteras, si las zonas de trata- 
miento también se benefician de la construcción de un nuevo puerto mari- 
timo al mismo tiempo que se produce la reparación de las carreteras, el 
efecto de esta última no podrá separarse de la construcción del puerto marí- 
timo utilizando un enfoque de diferencias en diferencias. Para que el método 
proporcione una estimación válida del contrafactual, se debe suponer que 
no existen ese tipo de diferencias que varían en el tiempo entre los grupos de 
tratamiento y comparación. 

Otra manera de pensar en esto es que, en ausencia del programa, las dife- 
rencias en los resultados entre los grupos de tratamiento y comparación ten- 
drían que evolucionar de forma paralela. Es decir, sin el tratamiento, los 
resultados tendrían que aumentar o disminuir en la misma medida en ambos 
grupos; los resultados tienen que mostrar tendencias iguales en ausencia de 
tratamiento. 

Desde luego, no hay manera de demostrar que las diferencias entre los 
grupos de tratamiento y comparación habrían evolucionado de manera 
paralela en ausencia del programa. El motivo es que no se puede observar 
qué habría ocurrido con el grupo de tratamiento en ausencia del trata- 
miento, es decir, no se puede observar el contrafactual. 

Por lo tanto, cuando se emplea el método de diferencias en diferencias, se 
debe suponer que, en ausencia del programa, los resultados en el grupo de 
tratamiento habrían evolucionado de forma paralela con los resultados del 
grupo de comparación. El gráfico 7.2 ilustra un incumplimiento de este 
supuesto fundamental. Si las tendencias de los resultados son diferentes 
para los grupos de tratamiento y de comparación, el efecto estimado de tra- 
tamiento obtenido mediante métodos de diferencias en diferencias sería 
inválido o estaría sesgado. Esto se debe a que la tendencia del grupo de com- 
paración no es una estimación válida de la tendencia contrafactual que 
habría prevalecido en el grupo de tratamiento en ausencia del programa. 
Como se muestra en el gráfico 7.2, si en realidad los resultados del grupo de 
comparación aumentan más lentamente que los resultados del grupo de tra- 
tamiento en ausencia del programa, utilizar la tendencia del grupo de com- 
paración como estimación del contrafactual de la tendencia del grupo de 
tratamiento conduce a una estimación sesgada del impacto del programa. 
Más concretamente, se estaría sobreestimando el impacto del programa. 
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Gráfico 72 Diferencias en diferencias cuando las tendencias de los 
resultados son diferentes 
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Comprobación del supuesto de igualdad de tendencias en el 
método de diferencias en diferencias 


A pesar de que no se puede demostrar, la validez del supuesto funda- 
mental de igualdad de tendencias se puede evaluar. Una primera verifi- 
cación de validez consiste en contrastar los cambios en los resultados en 
los grupos de tratamiento y comparación en repetidas ocasiones antes 
de la implementación del programa. En el programa de reparación de 
carreteras, esto significa que se mediría el cambio en la tasa de empleo 
entre los grupos de tratamiento y comparación antes del comienzo del 
programa, es decir, entre el segundo y el primer año, y entre el primer 
año y el año cero. Si se ve que los resultados evolucionaban de forma 
paralela antes del comienzo del programa, es razonable suponer que 
habrían seguido evolucionando de la misma manera después de la inter- 
vención. Para verificar la igualdad de las tendencias antes de la inter- 
vención, se requieren al menos dos rondas de observaciones en los 
grupos de tratamiento y comparación antes del comienzo del programa. 
Esto significa que la evaluación requeriría tres rondas de observaciones: 
dos observaciones previas a la intervención para valorar las tendencias 
anteriores al programa, y al menos una observación posterior a la inter- 
vención para evaluar el impacto mediante el método de diferencias en 
diferencias. 
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Una segunda manera de comprobar el supuesto de las tendencias iguales 
sería llevar a cabo lo que se denomina prueba de placebo. Para esta prueba, se 
realiza una segunda estimación de diferencias en diferencias utilizando un 
grupo de tratamiento “falso”, es decir, un grupo que, según lo que el evalua- 
dor sabe, no ha sido afectado por el programa. Por ejemplo, se quiere esti- 
mar cómo las clases de apoyo para los alumnos del séptimo grado influyen 
en su probabilidad de asistir a la escuela, y entonces se eligen estudiantes de 
octavo grado como grupo de comparación. Para comprobar si los estudian- 
tes de séptimo y octavo grado tienen las mismas tendencias en términos de 
asistencia escolar, podría verificarse que los estudiantes de octavo y de sexto 
grado tengan las mismas tendencias. El evaluador sabe que los alumnos de 
sexto grado no se verán afectados por el programa, de modo que si realiza 
una estimación de diferencias en diferencias utilizando a los alumnos de 
octavo grado como grupo de comparación y a los de sexto como el grupo de 
tratamiento falso, tiene que obtener un impacto de cero. De lo contrario, el 
impacto que encuentre se deberá necesariamente a alguna diferencia fun- 
damental en las tendencias entre los estudiantes de sexto y octavo grado. 
Esto, a su vez, arroja dudas sobre si es válido el supuesto de que los alumnos 
de séptimo y octavo grado tienen tendencias iguales en ausencia del 
programa. 

Una tercera manera de probar el supuesto de tendencias iguales sería lle- 
var a cabo la prueba de placebo no solo con un grupo de tratamiento falso, 
sino también con un resultado falso. En el ejemplo de las clases de apoyo, 
conviene comprobar la validez de utilizar a los alumnos de octavo grado 
como grupo de comparación estimando el impacto de las clases de apoyo en 
un resultado que, según lo que se sabe, no se ve afectado por dichas clases, 
como, por ejemplo, el número de hermanos que los alumnos tienen. Si la 
estimación de diferencias en diferencias encuentra un “impacto” de las cla- 
ses de apoyo en el número de hermanos de los alumnos, entonces ya se sabe 
que el grupo de comparación debe tener alguna falla. 

Una cuarta manera de comprobar el supuesto de las tendencias iguales 
consistiría en aplicar el método de diferencias en diferencias utilizando 
diferentes grupos de comparación. En el ejemplo de las clases de apoyo, pri- 
mero se llevaría a cabo la estimación con los alumnos de octavo grado como 
grupo de comparación, y luego se realizaría una segunda estimación 
tomando a los alumnos de sexto grado como grupo de comparación. Si los 
dos grupos son válidos, se observará que el impacto estimado es aproxima- 
damente el mismo en ambos cálculos. En los recuadros 7.3 y 7.4 se presentan 
dos ejemplos de una evaluación de diferencias en diferencias que utilizan 
una combinación de estos métodos para probar el supuesto de tendencias 
iguales. 
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Recuadro 7.3: Comprobando el supuesto de tendencias iguales: 
privatización del agua y mortalidad infantil en Argentina 


Galiani, Gertler y Schargrodsky (2005) usaron 
el método de diferencias en diferencias para 
resolver una importante pregunta de las polí- 
ticas públicas: ¿la privatización de los servi- 
cios de suministro de agua mejora los 
resultados en materia de salud y contribuye al 
alivio de la pobreza? Durante la década de 
1990, Argentina inició una de las campañas 
de privatización más grandes de su historia y 
transfirió las compañías municipales de aguas 
a empresas privadas reguladas. El proceso de 
privatización se produjo a lo largo de una 
década, y el mayor número de privatizaciones 
tuvo lugar después de 1995, cubriendo alre- 
dedor del 30% de los municipios del país y a 
un 60% de la población. 

La evaluación aprovechó el cambio de la 
propiedad del servicio de aguas a lo largo del 
tiempo para determinar el impacto de la pri- 
vatización sobre la tasa de mortalidad de los 
menores de 5 años. Antes de 1995, el ritmo 
de reducción de las tasas de mortalidad 
infantil era el mismo en todo el país; des- 
pués de 1995, las tasas de mortalidad se 
redujeron más rápidamente en aquellos 
municipios donde se había privatizado el 
suministro de agua. 

De acuerdo con los investigadores, en 
este contexto es muy probable que se 
cumpla el supuesto necesario para aplicar 
el método de diferencias en diferencias. 
Concretamente, los autores demostraron 
que no se observaban diferencias en las 
tendencias de mortalidad infantil entre los 
municipios de comparación y tratamiento 
antes de que comenzara la campaña 
de privatizaciones. También demostraron 
que la decisión de privatizar no guardaba 


Fuente: Galiani, Gertler y Schargrodsky (2005). 
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relación alguna con las crisis económicas 
ni con los niveles históricos de mortalidad 
infantil. Verificaron la solidez de sus obser 
vaciones llevando a cabo una prueba pla- 
cebo con un “resultado falso”: distinguieron 
entre aquellas causas de mortalidad infan- 
til relacionadas con la calidad del agua, 
como enfermedades infecciosas y parasi- 
tarias, y aquellas no relacionadas con la 
calidad del agua, como los accidentes y las 
enfermedades congénitas. Luego proba- 
ron el impacto de la privatización de los 
servicios de suministro de agua por sepa- 
rado para los dos subconjuntos de causas 
de mortalidad. Así, llegaron a la conclusión 
de que la privatización de los servicios de 
suministro de agua estaba correlacionada 
con la disminución de las muertes por 
enfermedades infecciosas y parasitarias, 
pero no estaba correlacionada con la dis- 
minución de las muertes por causas como 
accidentes y enfermedades congénitas. 

Al final, la evaluación determinó que la 
mortalidad infantil se redujo cerca de un 8% 
en las zonas donde se privatizaron los servi- 
cios, y que el efecto fue más notable, de 
alrededor de un 26%, en las zonas más 
pobres, donde la ampliación de la red de 
suministro de agua había sido mayor. Este 
estudio arrojó luz sobre diversos debates 
fundamentales de políticas públicas en rela- 
ción con la privatización de los servicios 
públicos. Los investigadores llegaron a la 
conclusión de que en Argentina el sector pri- 
vado regulado demostraba ser más exitoso 
que el sector público en la mejora de indica- 
dores de acceso, servicio y, lo que es más 
importante, mortalidad infantil. 
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Recuadro 7.4: Poniendo a prueba el supuesto de tendencias 
iguales: la construcción de escuelas en Indonesia 


Duflo (2001) analizó los impactos de 
mediano y largo plazo de un programa para 
construir escuelas en Indonesia en los resul- 
tados educativos y del mercado laboral. En 
1973 Indonesia se embarcó en un programa 
de construcción de escuelas primarias de 
gran escala, y se construyeron más de 
61.000 establecimientos de este tipo. Para 
centrarse en los alumnos que no se habían 
matriculado anteriormente en la escuela, el 
gobierno asignó el número de colegios que 
serían construidos en cada distrito en pro- 
porción al número de alumnos no matricula- 
dos en ese distrito. Duflo deseaba evaluar el 
impacto del programa en los niveles educa- 
tivos y los salarios. La exposición al trata- 
miento se midió por el número de escuelas 
de la región, y los grupos de tratamiento y 
comparación fueron identificados a partir de 
la edad que tenían cuando se lanzó el pro- 
grama. El grupo de tratamiento se componía 
de varones nacidos después de 1962, dado 
que habrían sido lo bastante jóvenes para 
beneficiarse de las nuevas escuelas prima- 
rias cuando estas se construyeron en 1974. 
El grupo de comparación estaba formado 
por varones nacidos antes de 1962, que 
habrían sido demasiado mayores para bene- 
ficiarse del programa. 

Duflo utilizó el método de diferencias en 
diferencias para estimar el impacto del pro- 
grama en los logros educativos promedio de 
los salarios, y comparó las diferencias en los 
resultados entre distritos de alta y baja expo- 
sición. A fin de demostrar que se trataba de 


Fuente: Duflo (2001). 


un método de estimación válido, primero 
tuvo que probar el supuesto de tendencias 
iguales en diferentes distritos. Para hacerlo, 
utilizó una prueba de placebo con un grupo 
de tratamiento falso. Comparó la cohorte de 
18 a 24 años en 1974 con la cohorte de 12 a 
17 años. Dado que ambas eran demasiado 
mayores para beneficiarse del nuevo pro- 
grama, los cambios en sus niveles educati- 
vos no deberían ser sistemáticamente 
diferentes en los distintos distritos. La esti- 
mación de esta regresión de diferencias en 
diferencias era cercana a cero. Este resul- 
tado significaba que los niveles educativos 
antes de que el programa comenzara no 
aumentaron más rápidamente en las zonas 
que después se convertirían en distritos de 
alta exposición que en los distritos de baja 
exposición. La prueba de placebo también 
mostró que la estrategia de basarse en la 
edad en el momento de la construcción de 
la escuela funcionaría. 

La evaluación encontró resultados positi- 
vos en los niveles educativos y en los sala- 
rios de los alumnos con una alta exposición 
al programa, es decir, aquellos que tenían 
menos de 8 años cuando se construyeron 
las escuelas. Para estos estudiantes, cada 
nueva escuela construida por cada 1.000 
niños se asociaba con una mejora de 0,12 a 
0,19 años en los niveles educativos y un 
aumento del 3% al 5,4% en los salarios. El 
programa también aumentó en un 12% la 
probabilidad de que un niño completara la 
escuela primaria. 
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Ur Evaluacion del impacto del HISP: la aplicacion de 
U diferencias en diferencias 


El método de diferencias en diferencias se puede usar para evaluar el 
Programa de Subsidios de Seguros de Salud (HISP, por sus siglas en 
inglés). En este escenario, hay dos rondas de datos sobre dos grupos de 
hogares: un grupo que se inscribió en el programa y otro que no lo hizo. 
Si se recuerda el caso de los grupos inscritos y no inscritos, se verá que no 
se puede simplemente comparar los gastos promedio en salud de los dos 
grupos debido al sesgo de selección. Puesto que se cuenta con datos de 
los períodos para cada hogar de la muestra, dichos datos se pueden usar 
para resolver algunos de estos problemas comparando el cambio en los 
gastos en salud de ambos grupos, suponiendo que el cambio en el gasto 
en salud del grupo no inscrito refleje lo que habría ocurrido con los gas- 
tos del grupo inscrito en ausencia del programa (véase el cuadro 7.2). 
Nótese que no importa de qué manera se calcula la doble diferencia. 

A continuación, se estima el efecto utilizando análisis de regresión 
(cuadro 7.3). Recurriendo a una simple regresión lineal para computar la 
estimación simple de diferencias en diferencias, se observa que el programa 
redujo los gastos en salud de los hogares en US$ 8,16. Luego se refina el aná- 
lisis añadiendo otras variables de control. En otras palabras, se emplea una 
regresión lineal multivariante que tiene en cuenta múltiples otros factores, 
y se observa la misma reducción en los gastos de los hogares en salud. 


Cuadro 7.2 Evaluación del HISP: diferencias en diferencias (comparación 
de medias) 


Después Antes (línea de Diferencia 
(seguimiento) base) 
Inscritos 784 14,49 -6,65 
No inscritos 22 30 20,79 ie 
Diferencia DD =-6,65 - 1,51 =-8,16 


Nota: El cuadro presenta el gasto medio (en dólares) en salud de los hogares inscritos y no inscri- 


tos, antes y después de la introducción del HISP 


Cuadro 7.3 Evaluación del HISP: diferencias en diferencias (análisis de 
regresión) 


Regresión lineal Regresión lineal multivariante 


Impacto estimado sobre 
el gasto en salud de los -8,16** -8,16** 
hogares (0,32) (0,32) 


Nota: Los errores estándares están entre paréntesis. 
** Significativo al nivel del 1%. 
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A. ¿Qué supuestos básicos son necesarios para aceptar este resultado de diferencias 
en diferencias? 

B. De acuerdo con los resultados de las diferencias en diferencias, ¿se debería ampliar 
el HISP a nivel nacional? 


Limitaciones del método de diferencias en 
diferencias 


Aun cuando las tendencias sean iguales antes del comienzo de la inter- 
vención, el sesgo en la estimación de diferencias en diferencias puede 
producirse y pasar inadvertido. Esto se debe a que el método DD atri- 
buye a la intervención cualquier diferencia de las tendencias entre los 
grupos de tratamiento y de comparación que se producen desde el 
momento en que la intervención comienza. Si hay otros factores presen- 
tes que influyen en la diferencia en las tendencias entre los dos grupos, y 
la regresión multivariante no rinde cuenta de ellos, la estimación será 
inválida o sesgada. 

Supóngase que se intenta estimar el impacto en la producción de arroz 
con la subvención de los fertilizantes y que esto se lleva a cabo midiendo la 
producción de arroz de los agricultores subvencionados (tratamiento) y de 
los agricultores no subvencionados (comparación) antes y después de la dis- 
tribución de las subvenciones. Si en el año 1 tiene lugar una sequía que afecta 
solamente a los agricultores subvencionados, la estimación de diferencias 
en diferencias producirá una estimación inválida del impacto de subvencio- 
nar los fertilizantes. En general, cualquier factor que afecte a uno de los dos 
grupos de forma desproporcionada, y lo hace al mismo tiempo en que el 
grupo de tratamiento recibe el tratamiento, sin que esto se tome en cuenta 
en la regresión, puede potencialmente invalidar o sesgar la estimación del 
impacto del programa. El método DD supone que no hay factores de este 
tipo presentes. 


Verificación: diferencias en diferencias 


Las diferencias en diferencias suponen que las tendencias de los resultados 
son similares en los grupos de comparación y tratamiento antes de la inter- 
vención y que los únicos factores que explican las diferencias en los 


La evaluación de impacto en la práctica 


resultados entre ambos grupos, aparte del propio programa, son constantes 
alo largo del tiempo. 


Y” Los resultados ¿habrían evolucionado de forma paralela en los grupos 
de tratamiento y comparación en ausencia del programa? Esto se puede 
evaluar utilizando diversas pruebas de falsificación, como las siguien- 
tes: 1) Los resultados en los grupos de tratamiento y comparación ¿evo- 
lucionaban de modo paralelo antes de la intervención? Si hay dos 
rondas de datos disponibles antes del comienzo del programa, se debe 
probar si existen diferencias en las tendencias que aparecen entre 
ambos grupos; 2) ¿Qué sucede con los resultados falsos que no deberían 
verse afectados por el programa? ¿Evolucionan de forma paralela antes 
y después del inicio de la intervención en los grupos de tratamiento y 
comparación? 


v Realizar el análisis de diferencias en diferencias utilizando varios grupos 
plausibles de comparación. Deberían obtenerse estimaciones similares 
del impacto del programa. 


v Efectuar el análisis de diferencias en diferencias usando los grupos de 
tratamiento y comparación elegidos, y un resultado falso que no debería 
verse afectado por el programa. Debería encontrarse un impacto nulo del 
programa en ese resultado. 


Y” Llevar adelante el análisis de diferencias en diferencias utilizando la 
variable de resultados elegida con dos grupos que, según lo que se sabe, 
no se vieron afectados por el programa. Debería observarse un impacto 
cero del programa. 


Otros recursos 


e Para material de apoyo del libro y para hipervínculos de recursos adicionales, 
se recomienda consultar el sitio web de la Evaluación de Impacto en la Práctica 
(http://www.worldbank.org/ieinpractice). 

e Para más referencias sobre los supuestos no dichos de las diferencias en dife- 
rencias, véase la entrada correspondiente en el blog de Impacto del Desarrollo 
del Banco Mundial (http://blogs.worldbank.org/impactevaluations). 
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CAPÍTULO 8 


Pareamiento 


Construcción de un grupo de comparación 
artificial 


El método que se describe en este capítulo consiste en técnicas estadisti- 
cas a las que se denominarán pareamiento (matching). Los métodos de 
pareamiento se pueden aplicar en el contexto de casi todas las reglas de 
asignación de un programa, siempre que se cuente con un grupo que no 
haya participado en el mismo. El pareamiento utiliza técnicas estadísticas 
para construir un grupo de comparación. Para cada unidad posible, el tra- 
tamiento intenta encontrar una unidad de no tratamiento (o conjunto de 
unidades de no tratamiento) que tengan características lo más parecidas 
posible. Piénsese en un caso en el que se propone evaluar el impacto de 
un programa de capacitación laboral sobre el ingreso y se cuenta con una 
base de datos, como los registros de ingreso y las declaraciones tributarias, 
que contiene tanto a los individuos que se inscribieron en el programa 
como a los individuos que no lo hicieron. El programa que se intenta eva- 
luar no tiene reglas de asignación claras (como asignación aleatoria o un 
índice de elegibilidad) que explique por qué ciertos individuos se inscri- 
bieron en el programa y otros no lo hicieron. En este contexto, los méto- 
dos de pareamiento permitirán identificar el conjunto de individuos no 
inscritos que más se parece a los individuos tratados, a partir de las carac- 
terísticas que ya se tienen en la base de datos. Estos individuos no 


Concepto clave 


El pareamiento utiliza 
grandes bases de datos 
y técnicas estadísticas 
para construir el mejor 
grupo de comparación 
posible sobre la base 
de características 
observables. 
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inscritos pareados luego se convierten en el grupo de comparación que se 
emplea para estimar el contrafactual. 

La búsqueda de una buena pareja para cada participante del programa 
requiere aproximarse todo lo posible a las características que explican la 
decisión del individuo de inscribirse en el programa. Desafortunadamente, 
en la práctica esto es más difícil. Si la lista de características observables rele- 
vantes es muy grande, o si cada característica adopta muchos valores, puede 
que sea complicado identificar una pareja para cada una de las unidades del 
grupo de tratamiento. A medida que aumenta el número de características O 
dimensiones con las que se quiere parear las unidades que se inscribieron en 
el programa, puede que uno se encuentre con lo que se denomina la maldición 
de la dimensionalidad. Por ejemplo, si solo se consideran tres características 
importantes para identificar el grupo de comparación del pareamiento, como 
la edad, el sexo y si la persona tiene un diploma de estudios secundarios, es 
probable que se encuentren parejas para todos los participantes que se inscri- 
bieron en el programa entre el conjunto de aquellos que no se inscribieron 
(los no inscritos), pero se corre el riesgo de dejar al margen otras característi- 
cas potencialmente importantes. Sin embargo, si se aumenta la lista de carac- 
terísticas -por ejemplo, para incluir el número de hijos, el número de años de 
estudios, el número de meses que el individuo lleva desempleado, el número 
de años de experiencia, etc.- puede que la base de datos no contenga una 
buena pareja para la mayoría de los participantes del programa que están 
inscritos, a menos que abarque un número muy grande de observaciones. El 
grafico 8.1 ilustra el pareamiento sobre la base de cuatro características: edad, 
sexo, meses de desempleo, y diploma de estudios secundarios. 


Gráfico 8.1 Pareamiento exacto en cuatro características 


Unidades tratadas Unidades no tratadas 
Edad. Gener Pees s ` Edäd! | Gengre Peake Pa aes 
Kio | 1 3 1 8 A 
35 1 12 0 1 0 
41 0 17 1 7 1 
23 1 6 0 2 1 
55 0 21 1 20 0 
27 0 4 0 17 1 > 
2 | 1 8 0 9 0 
46 0 3 0 11 1 
33 0 12 1 3 ° — 
40 1 2 0 27 0 4 0 
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Pareamiento por puntajes de propensión 


Por suerte, la maldición de la dimensionalidad puede solucionarse fácil- 
mente utilizando un método denominado pareamiento por puntajes de 
propensión (propensity scrore-matching) (Rosenbaum y Rubin, 1983). Con 
este enfoque, ya no se requiere que se intente parear a cada unidad inscrita 
con una unidad no inscrita que tenga exactamente el mismo valor para 
todas las características de control observables. En cambio, para cada uni- 
dad del grupo de tratamiento y del conjunto de no inscritos, se computa la 
probabilidad de que esta unidad se inscriba en el programa (el denominado 
puntaje de propensión) sobre la base de los valores observados de sus carac- 
terísticas (las variables explicativas). Esta puntuación es un número real 
entre O y 1 que resume la influencia de todas las características observables 
en la probabilidad de inscribirse en el programa. Deberían utilizarse solo 
las características observables en la línea de base para calcular el puntaje de 
propensión. Esto se debe a que las características post tratamiento pueden 
haberse visto afectadas por el propio programa, y el uso de dichas caracte- 
rísticas para identificar a un grupo de comparación pareado sesgaría los 
resultados. Cuando el tratamiento influye en las características del indivi- 
duo y se usan aquellas características para parear, se escoge un grupo de 
comparación que se parece al grupo de tratamiento debido al propio trata- 
miento. Sin el tratamiento, esas características tendrían un aspecto muy 
diferente. Esto incumple el requisito básico de una buena estimación del 
contrafactual, a saber: que el grupo de comparación debe ser similar en 
todos los aspectos, excepto en el hecho de que el grupo de tratamiento 
recibe el tratamiento y el grupo de comparación no lo recibe. 

Una vez que se ha computado el puntaje de propensión de todas las 
unidades, aquellas del grupo de tratamiento pueden parearse con unidades 
en el conjunto de no inscritos que tienen los puntajes de propensión más 
cercanos. Estas unidades próximas se convierten en el grupo de compara- 
ción y se utilizan para producir una estimación del contrafactual. El método 
de pareamiento por puntajes de propensión intenta imitar la asignación 
aleatoria a los grupos de tratamiento y comparación escogiendo para el 
grupo de comparación aquellas unidades que tienen propensiones similares 
alas unidades del grupo de tratamiento. Dado que el pareamiento de punta- 
jes de propensión no es un método de asignación aleatoria pero intenta 
imitarlo, pertenece a la categoría de métodos cuasi-experimentales. 

La diferencia promedio en los resultados entre las unidades de trata- 
miento, o inscritas, y sus unidades de comparación correspondientes genera 
la estimación del impacto del programa. En resumen, el impacto del pro- 
grama se estima comparando los resultados promedio de un grupo de 
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tratamiento, o inscrito, y el resultado promedio del subgrupo de unidades 
estadísticamente pareadas, donde el pareamiento se basa en características 
observables en los datos disponibles. 

Para que el pareamiento por puntajes de propensión produzca estimacio- 
nes del impacto de un programa para todas las observaciones tratadas, cada 
unidad de tratamiento o inscrita debe parearse con una unidad no inscrita.? 
Sin embargo, en la práctica puede ocurrir que, para algunas unidades inscri- 
tas, no haya unidades en el conjunto de no inscritos que tengan puntajes de 
propensión similares. En términos técnicos, puede que se produzca una 
falta de rango común, o falta de superposición, entre los puntajes de propen- 
sión del grupo de tratamiento o inscrito y los del conjunto de no inscritos. 

El gráfico 8.2 representa un ejemplo de la falta de rango común. En 
primer lugar, se estima la probabilidad de que cada unidad de la muestra se 
inscriba en el programa a partir de las características observables de esa 
unidad, es decir, el puntaje de propensión. El gráfico muestra la distribución 
de los puntajes de propensión por separado para los inscritos y no inscritos. 
El problema es que estas distribuciones no se superponen perfectamente. 
En el medio de la distribución, es relativamente fácil encontrar las parejas 
porque hay tanto inscritos como no inscritos con estos niveles de puntajes 
de propensión. Sin embargo, los inscritos con puntajes de propensión cerca- 
nos a 1 no se pueden parear con ningún no inscrito porque no hay no inscri- 
tos con puntajes de propensión tan altos. Hay tan poca similitud entre las 
unidades que tienen muchas probabilidades de inscribirse en el programa y 


Gráfico 8.2 Pareamiento por puntajes de propensión y rango común 


No inscritos Inscritos 


Densidad 


0 Puntaje de propensión 1 
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las unidades no inscritas que no se puede encontrar una buena pareja para 
ellas. De la misma manera, los no inscritos con puntajes de propensión cer- 
canos a O no pueden parearse con ningún inscrito porque no hay inscritos 
que tengan puntajes de propensión tan bajos. Por lo tanto, en los extremos, 
o colas, de la distribución del puntaje de propensión aparece una falta de 
rango común. En este caso, el procedimiento de pareamiento estima el 
efecto local promedio del tratamiento (LATE, por sus siglas en inglés) para 
las observaciones sobre el rango común. 

Los pasos que hay que seguir cuando se aplica un pareamiento por pun- 
tajes de propensión se resumen en Jalan y Ravaillon (2003).* Primero, se 
necesitarán encuestas representativas y altamente comparables en las que 
se puedan identificar las unidades que se inscribieron en el programa y las 
que no lo hicieron. Segundo, se reúnen las dos muestras y se estima la pro- 
babilidad de que cada individuo se inscriba en el programa, a partir de las 
características individuales observables en la encuesta. Este paso produce el 
puntaje de propensión. Tercero, se limita la muestra a unidades para las que 
aparece un rango común en la distribución del puntaje de propensión. 
Cuarto, para cada unidad inscrita, se identifica un subgrupo de unidades con 
puntajes de propensión similares. Quinto, se comparan los resultados de las 
unidades de tratamiento, o inscritas, y las parejas de las unidades de compa- 
ración, o no inscritas. La diferencia de los resultados promedio de estos dos 
subgrupos es la medida del impacto que se puede atribuir al programa para 
esa observación especifica tratada. Sexto, la media de estos impactos indivi- 
duales arroja una estimación del efecto local promedio del tratamiento. En 
la práctica, los programas estadísticos habitualmente usados incluyen 
comandos que realizan los pasos 2 a 6 de manera automática. 

En general, es importante recordar tres cuestiones esenciales acerca del 
pareamiento. En primer lugar, los métodos de pareamiento solo pueden 
utilizar características observables para construir grupos de comparación, 
dado que las características no observables no se pueden considerar. Si hay 
alguna característica no observable que influye en la inscripción o no 
inscripción de la unidad en el programa, y que también influye en el resul- 
tado, las estimaciones de impacto obtenidas con el grupo de comparación 
pareado estarían sesgadas. Para que el resultado del pareamiento no esté 
sesgado, requiere un supuesto de mucho peso, a saber: que no hay diferen- 
cias no observables en el grupo de tratamiento y de comparación que tam- 
bién estén asociadas con los resultados de interés. 

Segundo, el pareamiento debe realizarse utilizando solo características 
que no estén afectadas por el programa. La mayoría de las características 
que se miden después del comienzo del programa no pertenecerían a esta 
categoría. Si los datos de línea de base (antes de la intervención) no están 
disponibles y los únicos datos son los existentes después de que la 
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intervención ha comenzado, las únicas características que se podrán utilizar 
para construir una muestra pareada serán aquellas (normalmente pocas) 
características que no se ven afectadas por un programa, como la edad y el 
sexo. Aunque se quisiera parear utilizando un conjunto mucho más rico de 
características, entre ellas los resultados de interés, no se podrá hacerlo por- 
que aquellas están potencialmente afectadas por la intervención. No se reco- 
mienda el pareamiento basado únicamente en características posteriores a 
la intervención. Si hay datos de línea de base disponibles, se puede realizar 
el pareamiento sobre la base de un conjunto más rico de características, 
entre ellas, los resultados de interés. Dado que los datos se recopilan antes 
de la intervención, el programa no puede haber afectado aquellas variables 
anteriores a la misma. Sin embargo, si hay datos de línea de base sobre los 
resultados disponibles, no se debería utilizar el método de pareamiento solo, 
sino que habría que combinarlo con diferencias en diferencias para reducir 
el riesgo de sesgo. Este procedimiento se detallará en la próxima sección. 

Tercero, los resultados de la estimación del método de pareamiento 
solo son tan buenos como las características que se utilizan para el parea- 
miento. Si bien es importante poder parear utilizando un gran número de 
características, lo es aún más poder parear sobre la base de características 
que determinan la inscripción. Cuanto más se comprenda acerca de los cri- 
terios utilizados para la selección de los participantes, en mejores condicio- 
nes se estará de construir el grupo de comparación. 


La combinación del pareamiento con otros 
métodos 


Aunque la técnica de pareamiento requiere un volumen importante de 
datos y tiene un riesgo significativo de sesgo, ha sido utilizada para evaluar 
programas de desarrollo en una amplia gama de contextos. Los usos más 
convincentes del pareamiento son aquellos que combinan el pareamiento 
con otros métodos y aquellos que utilizan el método de control sintético. En 
esta sección, se analizarán las diferencias en diferencias pareadas y el 
método de control sintético. 


Diferencias en diferencias pareadas 


Cuando dispone de datos de línea de base sobre los resultados, el pareamiento 
se puede combinar con diferencias en diferencias para reducir el riesgo de 
sesgo en la estimación. Como se ha analizado, el simple pareamiento con 
puntajes de propensión no puede dar cuenta de características no observa- 
bles que podrían explicar por qué un grupo decide inscribirse en un 
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programa, y eso también podría afectar los resultados. El pareamiento 
combinado con diferencias en diferencias al menos tiene en cuenta cual- 
quier característica no observable que sea constante a lo largo del tiempo 
entre ambos grupos. Se implementa de la siguiente manera: 


1. 


5. 


El pareamiento debe realizarse a partir de características observables de 


la línea de base (como se ha señalado). 


Para cada unidad inscrita, se debe calcular el cambio en los resultados 
entre los períodos antes y después (primera diferencia). 


Para cada unidad inscrita, calcúlese el cambio en los resultados entre los 
períodos antes y después para la comparación pareada de esta unidad 


(segunda diferencia). 


el método de diferencias en diferencias. 


. Réstese la segunda diferencia de la primera diferencia, es decir, apliquese 


Por último, calcúlese un promedio de esas dobles diferencias. 


Los recuadros 8.1 y 8.2 proporcionan ejemplos de evaluaciones que utiliza- 
ron el método de diferencias en diferencias pareadas en la práctica. 


Recuadro 8.1: Diferencias en diferencias pareadas: caminos 
rurales y desarrollo del mercado local en Vietnam 


En Vietnam, Mu y Van de Walle (2011) usaron 
el pareamiento de puntajes de propensión en 
combinación con el método de diferencias 
en diferencias para estimar el impacto de un 
programa de caminos rurales en el desarrollo 
del mercado local a nivel de la comuna. Entre 
1997 y 2001, el gobierno vietnamita rehabi- 
litó 5.000 km de caminos rurales. Los cami- 
nos fueron seleccionados según criterios de 
costo y de densidad demográfica. 

Dado que las comunas que se beneficia- 
ron de la reparación de caminos no fueron 
seleccionadas de forma aleatoria, los investi- 
gadores utilizaron el pareamiento de punta- 
jes de propensión para construir un grupo 
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de comparación. Utilizando datos de una 
encuesta de línea de base, encontraron una 
diversidad de factores a nivel de la comuna 
que determinaba si un camino en ella era 
seleccionado para el programa, como el 
tamaño de la población, los porcentajes de 
las minorías étnicas, la calidad de vida, la 
densidad de los caminos existentes y la pre- 
sencia de transporte de pasajeros. Estimaron 
los puntajes de propensión basándose en 
estas características y limitaron el tamaño 
de la muestra a la zona de rango común. 
Esto dio como resultado 94 comunas de 
tratamiento y 95 comunas de comparación. 
Para limitar aún más el sesgo de selección 
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Recuadro 8.1: Diferencias en diferencias pareadas: caminos rurales y desarrollo del mercado local en 


Vietnam (continúa) 


potencial, los investigadores utilizaron dife- 
rencias en diferencias para estimar el cam- 
bio en las condiciones del mercado local. 
Dos años después de iniciado el pro- 
grama, los resultados indicaron que la 
rehabilitación de caminos produjo impactos 
positivos significativos en la presencia y 
la frecuencia de los mercados locales y en la 
disponibilidad de servicios. En las comu- 
nas de tratamiento se desarrolló un 10% 
más de nuevos mercados que en las comu- 


nas de comparación. En las primeras era 
más habitual que los hogares cambiaran de 


Fuente: Mu y Van de Walle (2011). 


actividades agrícolas a actividades más 
relacionadas con los servicios, como la 
confección de ropa y las peluquerías. Sin 
embargo, los resultados variaban considera- 
blemente entre las comunas. En las más 
pobres, los impactos tendían a ser mayores 
debido a los menores niveles de desarrollo 
inicial del mercado. Los investigadores lle- 
garon a la conclusión de que los proyectos 
de mejora de caminos pequeños pueden 
tener impactos más importantes si se foca- 
lizan en zonas con un desarrollo de mercado 
inicialmente bajo. 


Recuadro 8.2: Pareamiento de diferencias en diferencias: suelos 
de cemento, salud infantil y felicidad de las madres en México 


El Programa Piso Firme de México ofrece a 
los hogares con suelos de tierra hasta 50 m2 
de piso de cemento (véase el recuadro 2.1). 
Piso Firme comenzó como un programa 
local en el estado de Coahuila, pero fue 
adoptado a nivel nacional. Cattaneo et al. 
(2009) aprovecharon la variación geográfica 
para evaluar el impacto de esta iniciativa 
para la mejora de la vivienda a gran escala en 
la salud y en los resultados del bienestar. 
Los investigadores utilizaron el método 
de diferencias en diferencias junto con el 
pareamiento para comparar a los hogares de 
Coahuila con familias similares en el estado 
vecino de Durango, que en el momento de la 
encuesta todavía no había implementado el 


programa. Para mejorar la comparabilidad 
entre los grupos de tratamiento y compara- 
ción, los investigadores limitaron su muestra 
a hogares de las ciudades vecinas situadas 
justo a ambos lados de la frontera entre los 
dos estados. En esta muestra, utilizaron téc- 
nicas de pareamiento para seleccionar los 
grupos de tratamiento y comparación que 
eran más similares. Las características pre- 
vias al tratamiento que se usaron fueron el 
porcentaje de hogares con suelos de tierra, 
el número de hijos pequeños y el número de 
hogares en cada bloque. 

Además del pareamiento, los auto- 
res utilizaron variables instrumentales para 
obtener estimaciones del LATE a partir de 
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Recuadro 8.2: Pareamiento de diferencias en diferencias: suelos de cemento, salud infantil y felicidad de 


las madres en México (continúa) 


las estimaciones del efecto de la intención 
de tratar. Con la oferta de un piso de 
cemento como variable instrumental para 
determinar si los hogares tenían realmente 
suelos de cemento encontraron que el 
programa producía una reducción del 
18,2% de la presencia de parásitos, una 
disminución del 12,4% de la prevalencia 
de casos de diarrea y una baja del 19,4% 
de la prevalencia de anemia. Además, 
pudieron utilizar la variabilidad en el total 
del espacio del suelo realmente recubierto 
de cemento para predecir que una com- 
pleta sustitución de los pisos de tierra por 
pisos de cemento en un hogar produciría 
una reducción del 78% de las infecciones 
parasitarias, una disminución del 59% de 
los casos de diarrea, una reducción del 
81% de la anemia y una mejora del 36% al 
96% en el desarrollo cognitivo de los 
niños. Los autores también recopilaron 
datos sobre el bienestar de los adultos y 
llegaron a la conclusión de que los pisos 
de cemento hacen más felices a las 


Fuente: Cattaneo et al. (2009). 


madres, que declararon un aumento del 
59% en la satisfacción con la vivienda, un 
incremento del 69% en la satisfacción con 
la calidad de vida, una reducción del 52% 
en la escala de evaluación de la depresión 
y una disminución del 35% en una escala 
de evaluación del estrés percibido. 

Cattaneo et al. (2009) concluyeron que 
Piso Firme tiene un impacto absoluto mayor 
en el desarrollo cognitivo infantil con un 
costo menor que el programa de transferen- 
cias condicionadas de efectivo a gran escala 
de México, Progresa-Oportunidades, y que 
otros programas comparables de suplemen- 
tos nutricionales y estimulación cognitiva 
temprana. Los pisos de cemento también 
evitan mejor la proliferación de infecciones 
parasitarias que el tratamiento habitual de 
eliminación de parásitos. Los autores afir 
man que los programas para reemplazar los 
suelos de tierra con suelos de cemento tie- 
nen probabilidades de mejorar la salud de 
los niños de manera costo-efectiva en con- 
textos similares. 


El método de control sintético 


El método de control sintético permite utilizar la estimación del impacto 
en contextos donde una única unidad (como un país, una empresa o un 
hospital) es objeto de una intervención o se expone a un evento. En lugar 
de comparar esta unidad tratada con un grupo de unidades no tratadas, 
el método usa información sobre las características de la unidad tratada 
y las unidades no tratadas para construir una unidad de comparación 
“sintética” o artificial, ponderando cada unidad no tratada de tal manera 
que la unidad de comparación sintética se asemeje lo más posible a la 
unidad tratada. Esto requiere una extensa serie de observaciones de las 
características de la unidad tratada y de las unidades no tratadas a lo 
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largo del tiempo. Esta combinación de unidades de comparación en una 
unidad sintética proporciona una mejor comparación para la unidad 
tratada que cualquier unidad no tratada individualmente. El recuadro 8.3 
presenta un ejemplo de una evaluación para la cual se empleó el método 


de control sintético. 
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Recuadro 8.3: El método de control sintético: los efectos 
económicos de un conflicto terrorista en España 


Abadie y Gardeazábal (2003) utilizaron el 
método de control sintético para investigar 
los efectos económicos de un conflicto 
terrorista en el País Vasco. A comienzos de 
los años setenta el País Vasco era una 
de las regiones más ricas de España. Sin 
embargo, hacia finales de los años noventa, 
después de 30 años de conflicto, había 
caído hasta la sexta posición en el producto 
interno bruto (PIB) per cápita. En los albo- 
res de los atentados terroristas a comien- 
zos de los años setenta, el País Vasco 
era diferente de otras regiones de España 
en características que, según se piensa, 
están relacionadas con el potencial de 


crecimiento económico. Por lo tanto, la 
comparación entre el crecimiento del PIB 
de la economía vasca y del resto de España 
reflejaría tanto el efecto del terrorismo 
como el efecto de estas diferencias en los 
factores determinantes del crecimiento 
económico antes del comienzo del terro- 
rismo. En otras palabras, el enfoque de 
diferencias en diferencias produciría resul- 
tados sesgados del impacto del terrorismo 
en el crecimiento económico del País 
Vasco. Para lidiar con esta situación, los 
autores utilizaron una combinación de otras 
regiones españolas, de modo de construir 
una región de comparación “sintética” 


Fuente: Abadie y Gardeazábal (2003). 


Qs Evaluación del impacto del HISP: la utilización de técnicas 
/ de pareamiento 


Después de conocer las técnicas de pareamiento, puede que uno se pre- 
gunte si podría usarlas para estimar el impacto del Programa de Subsidios 
de Seguros de Salud (HISP, por sus siglas en inglés). Por ejemplo, se 
decide utilizar técnicas de pareamiento para seleccionar un grupo de 
hogares no inscritos que parecen similares a los hogares inscritos a partir 
de las características observables de la línea de base. Para hacer esto, se 
utiliza el paquete de pareamiento del software estadístico. Primero, se 
debe estimar la probabilidad de que un hogar se inscriba en el programa 


La evaluación de impacto en la práctica 


sobre la base de los valores observados de las características (las variables 
explicativas), como la edad del jefe de hogar y del cónyuge, su nivel de 
estudios, si el jefe del hogar es mujer, si el hogar es indígena, etc. 

A continuación, se llevará a cabo un pareamiento considerando dos 
escenarios. En el primero, hay un gran conjunto de variables para pre- 
decir la inscripción, entre ellas las características socioeconómicas del 
hogar. En el segundo, hay escasa información para predecir la inscrip- 
ción (solo el nivel de estudios y la edad del jefe de hogar). Como se 
muestra en el cuadro 8.1, la probabilidad de que un hogar se inscriba en 
el programa es menor si el jefe de hogar es mayor, si tiene más estudios, 
si es mujer, o si el hogar cuenta con baño o posee un terreno más 
grande. Por el contrario, ser indígena, tener más miembros en el hogar, 
tener un suelo de tierra y vivir más lejos de un hospital son factores que 


Cuadro 8.1 Estimación del puntaje de propensión a partir de 
características observables de la línea de base 


Todo el Conjunto 
conjunto de limitado de 
variables variables 
Variable dependiente: inscritos = 1 explicativas explicativas 
Variables explicativas: características 
observables en la línea de base Coeficiente Coeficiente 
Edad del jefe del hogar (años) -0,013** —0,021** 
Edad del cónyuge (años) —0,008** —0,041** 
Nivel educativo del jefe del hogar (años) -0,022** 
Nivel educativo del cónyuge (años) —0,016* 
Jefe del hogar es mujer =1 —0,020 
Indigena = 1 ONG lias 
Numero de miembros del hogar O, ME 
Suelo de tierra = 1 03761% 
Baño = 1 —0,124** 
Hectáreas de terreno -0,028** 
Distancia del hospital (km) 0002% 
Constante —0,497** O 551 


Nota: Regresión probit. La variable dependiente equivale a 1 si el hogar está inscrito en el HISP y 
0 en caso contrario. Los coeficientes representan la contribución de cada variable explicativa a la 
probabilidad de que un hogar se inscriba en el HISP 


Nivel de significancia: * = 5%; ** = 1%. 
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aumentan la probabilidad de que un hogar se inscriba en el programa. 
Por lo tanto, en general, parecería que los hogares más pobres y con 
menor nivel educativo tienen más probabilidades de inscribirse, lo cual 
es una buena noticia para un programa que se focaliza en las personas 
pobres. 

Ahora que el software ha estimado la probabilidad de que todos los 
hogares se inscriban en el programa (el puntaje de propensión), se veri- 
fica la distribución del puntaje de propensión para los hogares de compa- 
ración inscritos y pareados. El gráfico 8.3 muestra que el rango común 
(cuando se utiliza todo el conjunto de variables explicativas) se extiende 
por toda la distribución del puntaje de propensión. De hecho, ninguno de 
los hogares inscritos queda marginado de la zona de rango común. En 
otras palabras, se puede encontrar un hogar de comparación como pareja 
para cada uno de los hogares inscritos. 


Gráfico 8.3 Pareamiento para el HISP: rango común 


54 


Densidad 


Puntaje de propensión 


- — - No inscritos — Inscritos 


Se decide utilizar el pareamiento de vecino más próximo, es decir, se 
le pide al software que, para cada hogar inscrito, encuentre el hogar no 
inscrito que tiene el puntaje de propensión más cercano al hogar inscrito. 
El software limita la muestra a aquellos hogares en los grupos de inscritos 
y no inscritos para los que puede encontrar una pareja en el otro grupo. 


La evaluación de impacto en la práctica 


Para obtener la estimación de impacto utilizando el método de parea- 
miento, primero se calcula el impacto para cada hogar inscrito indivi- 
dualmente (utilizando el hogar de comparación pareado de cada hogar) y 
luego se calcula el promedio de esos impactos individuales. El cuadro 8.2 
muestra que el impacto estimado al aplicar este procedimiento es una 
reducción de US$9,95 en los gastos en salud de los hogares. 

Por último, el software también permite computar el error estándar en 
la estimación de impacto utilizando la regresión lineal (cuadro 8.3).* 


Cuadro 8.2 Evaluación del HISP: pareamiento de las características de 
línea de base y comparación de medias 


Inscritos Comparación pareada Diferencia 
Gasto en salud de 7,84 |779 -9,95 
los hogares (US$) (usando el conjunto de 
variables explicativas) 
19,9 -11,35 


(utilizando un conjunto 
limitado de variables 
explicativas) 


Nota: Este cuadro compara los gastos en salud promedio de los hogares en los hogares inscritos 


y las parejas de hogares de comparación. 


Cuadro 8.3 Evaluación del HISP: pareamiento de las características de 
línea de base y análisis de regresión 


Regresión lineal Regresión lineal 
(pareamiento en todo (pareamiento en 
el conjunto de conjunto limitado de 


variables explicativas) variables explicativas) 


Impacto estimado en 
los gastos en salud -9,95** 1355 
de los hogares (US$) (0,24) (0,22) 


Nota: Los errores estándar están entre paréntesis. 


Nivel de significancia: ** = 1%. 


Se observa también que en los datos de las encuestas se cuenta con 
información de los resultados de línea de base, de modo que se deciden 
utilizar las diferencias en diferencias pareadas además de usar todo el 
conjunto de variables explicativas. Es decir, se calcula la diferencia en los 
gastos en salud de los hogares en el seguimiento entre hogares inscritos y 
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hogares de comparación pareados; se computa la diferencia en los gastos 
en salud de los hogares en la línea de base entre los hogares inscritos y las 
parejas de comparación; y luego se calcula la diferencia entre estas dos 
diferencias. El cuadro 8.4 muestra el resultado de este enfoque de dife- 
rencias en diferencias pareadas. 


Cuadro 8.4 Evaluación del HISP: método de diferencias en diferencias 
combinado con pareamiento en las características de línea de base 


Comparaciones 


pareadas 
utilizando el 
conjunto de 
variables 
Inscritos explicativas Diferencia 
Gastos en Seguimiento 7,84 17,79 -9,95 
salud delos | mea de base 14,49 15,03 0,54 
hogares 
(US$) Diferencias 
en 
diferencias 
pareadas 
=-9,41** 
(0,19) 


Nota: Los errores estándar están entre paréntesis y el cálculo se realizó utilizando una 
regresión lineal. 


Nivel de significancia: ** = 1%. 


© Pregunta HISP 7 


A. ¿Cuáles son los supuestos básicos necesarios para aceptar estos resul- 
tados sobre la base del método de pareamiento? 

B. ¿Por qué los resultados del método de pareamiento son diferentes si se 
utiliza todo el conjunto vs. el conjunto limitado de variables 
explicativas? 

C. ¿Qué sucede cuando se compara el resultado del método de parea- 
miento con el resultado de la asignación aleatoria? ¿Por qué los resul- 
tados son tan diferentes en el pareamiento con un conjunto limitado 
de variables explicativas? ¿Por qué el resultado es más parecido 
cuando se realiza el pareamiento en todo el conjunto de variables 
explicativas? 

D. A partir del resultado del método de pareamiento, ¿debería ampliarse 
el HISP a escala nacional? 


La evaluación de impacto en la práctica 


Limitaciones del método de pareamiento 


Aunque los procedimientos de pareamiento se pueden aplicar en numero- 
sos contextos, independientemente de las reglas de asignación de un pro- 
grama, tienen varias limitaciones importantes. En primer lugar, requieren 
conjuntos de datos amplios sobre grandes muestras de unidades, e incluso 
cuando estos están disponibles, puede que se produzca una falta de rango 
común entre el grupo de tratamiento, o inscrito, y el conjunto de no parti- 
cipantes. En segundo lugar, solo se puede aplicar el pareamiento basán- 
dose en características observables; por definición, no se pueden 
incorporar las características no observables en el cálculo del puntaje de 
propensión. Por lo tanto, para que el procedimiento de pareamiento iden- 
tifique un grupo de comparación válido, no deben existir diferencias siste- 
máticas en las características no observables entre las unidades de 
tratamiento y las unidades de comparación pareadas? que podrían influir 
en el resultado (Y). Dado que no se puede demostrar que existen esas 
características no observables que influyen en la participación y en los 
resultados, se debe suponer que no existen. Normalmente se trata de un 
supuesto de mucho peso. A pesar de que el pareamiento contribuye a con- 
trolar por características básicas observables, nunca se puede descartar el 
sesgo que nace de las características no observables. En resumen, el 
supuesto de que no se ha producido un sesgo de selección debido a las 
características no observables es de mucho peso y, lo que es más proble- 
mático, no puede comprobarse. 

El pareamiento por si solo suele ser menos robusto que los otros méto- 
dos de evaluación analizados, dado que requiere el fuerte supuesto de 
que no hay características no observables que influyan simultáneamente 
en la participación en el programa y en sus resultados. Por otro lado, la 
asignación aleatoria, la variable instrumental y el diseño de regresión 
discontinua no requieren el supuesto indemostrable de que no hay tales 
variables no observables. Tampoco requieren muestras tan grandes o 
características básicas tan amplias como el pareamiento por puntajes de 
propensión. 

En la práctica, los métodos de pareamiento suelen usarse cuando no es 
posible recurrir alas opciones de asignación aleatoria, variable instrumental 
y diseño de regresión discontinua. El denominado pareamiento ex post es 
muy riesgoso cuando no hay datos de línea de base disponibles sobre el 
resultado de interés o de las características básicas. Si una evaluación utiliza 
datos de encuestas que fueron recopilados después del comienzo del pro- 
grama (es decir, ex post) para deducir las características básicas de las 
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unidades de la línea de base y luego emparejar el grupo tratado con un grupo 
de comparación empleando esas características deducidas, puede empare- 
jar involuntariamente basándose en características que también fueron 
afectadas por el programa; en ese caso, el resultado de estimación sería invá- 
lido o estaría sesgado. 

Por el contrario, cuando se dispone de datos de línea de base, el parea- 
miento basado en las características básicas puede ser muy útil si se 
combina con otras técnicas, como el método de diferencias en diferen- 
cias, lo que permite corregir por las diferencias entre los grupos que son 
fijas a lo largo del tiempo. El pareamiento también es más fiable cuando 
se conocen las reglas de asignación del programa y las variables funda- 
mentales, en cuyo caso el pareamiento se puede llevar a cabo con esas 
variables. 

A estas alturas, es probable que quede claro que las evaluaciones de 
impacto se diseñan mejor antes de que un programa comience a ser imple- 
mentado. Una vez que el programa ha comenzado, si hay que influir en cómo 
se asigna y no se han recopilado datos de línea de base, habrá pocas o ninguna 
opción rigurosa para la evaluación de impacto. 


Verificación: el pareamiento 


El pareamiento se basa en el supuesto de que las unidades inscritas y no 
inscritas son similares en términos de cualquier variable no observable que 
podría influir tanto en la probabilidad de participar en el programa como en 
el resultado. 


v ¿La participación en el programa está determinada por variables que no 
se pueden observar? Esto no se puede comprobar directamente, de modo 
que para orientarse habrá que fiarse de la teoría, del sentido común y del 
conocimiento adecuado del contexto de la evaluación de impacto. 


v ¿Las características observables están bien equilibradas entre los subgru- 
pos pareados? Compárense las características observables de cada grupo 
de tratamiento y su grupo de unidades de comparación pareados en la 
línea de base. 


Y” ¿Se puede encontrar una unidad de comparación pareada para cada uni- 
dad de tratamiento? Verifiquese si hay un rango común suficiente en la 
distribución de los puntajes de propensión. Las pequeñas zonas de rango 
común o superposición señalan que las personas inscritas y no inscritas 
son muy diferentes, y aquello arroja dudas sobre si el pareamiento es un 
método creíble. 


La evaluación de impacto en la práctica 


Otros recursos 


e Para material de apoyo relacionado con este libro y para hipervínculos de más 
recursos, se recomienda consultar el sitio web de la Evaluación de Impacto en 
la Práctica (http: //www.worldbank.org/ieinpractice). 

e Para más información, consúltese P. Rosenbaum (2002), Observational Studies 
(da. edición), Springer Series in Statistics. Nueva York: Springer-Verlag. 

e Para más información sobre la implementación del pareamiento por puntajes 
de propensión, véase C. Heinrich, A. Maffioli y G. Vasquez (2010), “A Primer 
for Applying Propensity-Score Matching. Impact-Evaluation Guidelines.” 
Nota técnica del BID-TN-161. Washington, D.C.: BID. 


Notas 


1. Nota técnica: en la práctica, se utilizan muchas definiciones de lo que constituye 
la unidad más próxima o cercana para llevar a cabo un pareamiento. Las 
unidades de control más cercanas se pueden definir sobre la base de una 
estratificación del puntaje de propensión -la identificación de los vecinos más 
próximos de la unidad de tratamiento, considerando la distancia, dentro de un 
determinado radio- o utilizando técnicas de núcleo. Se considera una buena 
práctica verificar la robustez de los resultados del pareamiento empleando 
diversos algoritmos de pareamiento. Para más detalles, véase Rosenbaum 
(2002). 

2. En este libro, el análisis del pareamiento se centra en un pareamiento de uno a 
uno. No se analizarán otros tipos de pareamiento, como el de uno a varios o el de 
reemplazo/sin reemplazo. Sin embargo, en todos los casos el marco conceptual 
descrito aquí seguiría vigente. 

3. En Rosenbaum (2002) se puede encontrar un análisis detallado del parea- 
miento. 

4. Nota técnica: cuando las puntuaciones de propensión de las unidades inscritas 
no están plenamente cubiertas por el área de rango común, los errores estándar 
deberían estimarse utilizando un muestreo autodocimante en lugar de una 
regresión lineal. 

5. Para los lectores que tienen conocimientos de econometría, esto significa que la 
participación es independiente de los resultados, dadas las características 
básicas utilizadas para realizar el pareamiento. 
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CAPÍTULO 9 


Cómo abordar las dificultades 
metodológicas 


Efectos heterogéneos del tratamiento 


Ya se ha visto que la mayoría de los métodos de evaluación de impacto solo 
producen estimaciones válidas del contrafactual bajo supuestos específicos. 
El principal riesgo de cualquier método es que sus supuestos fundamentales 
no sean válidos, lo que genera estimaciones sesgadas del impacto del pro- 
grama que se evalúa. Sin embargo, también hay otros riesgos comunes en la 
mayoría de las metodologías que se han analizado. En este capítulo, se exa- 
minarán los principales. 

Un tipo de riesgo surge cuando se estima el impacto de un programa en 
todo un grupo y los resultados ocultan algunas diferencias en las respuestas al 
tratamiento delos diferentes receptores, es decir, los efectos heterogéneos del 
tratamiento. La mayoría de los métodos de evaluación de impacto supone que 
un programa influye en los resultados de una manera simple y lineal para 
todas las unidades de la población. 

Sin embargo, si se piensa que diferentes subpoblaciones pueden haber 
vivido el impacto de un programa de manera muy diferente, puede que con- 
venga tener muestras estratificadas para cada subpoblación. Supóngase, 
por ejemplo, que a uno le interesa conocer el impacto de un programa de 
comida escolar en las niñas, pero solo el 10% del alumnado está confor- 
mado por niñas. En ese caso, puede que incluso una muestra aleatoria 


177 


“srande” de alumnos no contenga un número suficiente de niñas como para 
estimar el impacto del programa en ellas. Para el diseño de la muestra de 
evaluación, convendría estratificar la misma basándose en el sexo, e incluir 
un número suficientemente grande de niñas a fin de poder detectar un 
determinado tamaño del efecto. 


Efectos no intencionados en la conducta 


Cuando se lleva a cabo una evaluación de impacto, también puede suceder 
que seinduzca a respuestas no intencionadas en la conducta de la población 
que se estudia, a saber: 


e El efecto Hawthorne ocurre cuando debido al mero hecho de saber que 
están siendo observadas, las unidades se comportan de manera diferente 
(véase el recuadro 9.1). 
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Recuadro 9.1: Cuentos tradicionales de la evaluación de impacto: 


el efecto Hawthorne y el efecto John Henry 


La expresión efecto Hawthorne se refiere a 
los experimentos llevados a cabo entre 
1924 y 1932 en el Hawthorne Works, una 
ábrica de equipos eléctricos en el estado 
de Illinois. Los experimentos probaron el 
impacto del cambio en las condiciones de 
rabajo (como aumentar o disminuir la inten- 
sidad de la luz) en la productividad de los 
rabajadores, y llegaron a la conclusión de 
que cualquier cambio en las condiciones de 
rabajo (más o menos luz, más o menos 
períodos de descanso, etc.) producía un 
aumento de la productividad. Esto se inter- 
pretó como un efecto de observación, 
es decir, los trabajadores que formaban 
parte del experimento se vieron a sí mis- 
mos como algo especial y su productividad 
aumentó debido a esto, y no debido al cam- 
bio en las condiciones de trabajo. Si bien los 
experimentos originales posteriormente 


Fuentes: Landsberger (1958). 


fueron objeto de polémicas y en alguna 
medida se los desacreditó, la expresión 
efecto Hawthorne permaneció. 

En cuanto al efecto John Henry, la expre- 
sión fue acuñada por Gary Saretsky en 1972 
para referirse al legendario héroe popular 
John Henry, el “hombre del taladro de 
acero” encargado de horadar las rocas con 
un taladro de acero para preparar los aguje- 
ros de los explosivos durante la construc- 
ción de un túnel de ferrocarril. Según cuenta 
la leyenda, cuando Henry supo que se le 
comparaba con un taladro de acero, trabajó 
esforzándose mucho más para superar a la 
propia máquina. Desafortunadamente, falle- 
ció como consecuencia de ello. Sin embargo, 
la expresión sigue vigente para describir 
cómo las unidades de comparación a veces 
se esfuerzan más para compensar el hecho 
de no ser objeto de un tratamiento. 
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e El efecto John Henry se produce cuando las unidades de comparación se 
esfuerzan más para compensar el hecho de no ser objeto del tratamiento 
(véase el recuadro 9.1). 


e La anticipación puede generar otro tipo de efecto no intencionado en la 
conducta. En una aleatorización por fases, puede que las unidades del 
grupo de comparación esperen recibir el programa en el futuro y comien- 
cen a cambiar su comportamiento antes de que el programa realmente se 
materialice. 


e El sesgo por sustitución es otro efecto en la conducta que influye en el 
grupo de comparación: las unidades que no fueron seleccionadas para ser 
objeto del programa pueden encontrar buenos sustitutos gracias a su 
propia iniciativa. 


Las respuestas en la conducta que afectan de manera desproporcionada al 
grupo de comparación constituyen un problema porque pueden socavar la 
validez interna de los resultados de la evaluación, aunque se use la asigna- 
ción aleatoria como método de evaluación. Un grupo de comparación que se 
esfuerza más para compensar el hecho de no ser objeto de un tratamiento, o 
que cambia su conducta en previsión del programa, no es una buena repre- 
sentación del contrafactual. 

Si se tiene algún motivo para creer que se pueden producir estas respuestas 
nointencionadasen la conducta, a veces una opción es constituir otros grupos 
de comparación que no se vean en absoluto afectados por la intervención, es 
decir, un grupo que permita explícitamente comprobar dichas respuestas. 
También puede que sea una buena idea recopilar datos cualitativos con el 
fin de entender mejor las respuestas en la conducta. 


imperfección del cumplimiento 


La imperfección del cumplimiento es la discrepancia entre la condición asig- 
nada del tratamiento y la condición real del mismo. La imperfección del 
cumplimiento se produce cuando algunas unidades asignadas al grupo de 
tratamiento no reciben tratamiento, y cuando algunas unidades asignadas 
al grupo de comparación reciben tratamiento. En el capítulo 5 se estudia la 
imperfección del cumplimiento en referencia a la asignación aleatoria, si 
bien la imperfección del cumplimiento también se puede producir con el 
diseño de regresión discontinua (como se señala en el capítulo 6) y con dife- 
rencias en diferencias (capítulo 7). Antes de que se puedan interpretar las 
estimaciones de impacto que genera cualquier método, es necesario saber si 
se ha producido una imperfección del cumplimiento en el programa. 
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La imperfección del cumplimiento puede tener lugar de diversas 
maneras: 


e No todos los participantes previstos participan realmente en el programa. 
A veces, algunas unidades asignadas a un programa deciden no participar. 


e Algunos participantes previstos son excluidos del programa debido a 
errores administrativos o de ejecución. 


e Se ofrece el programa por error a algunas unidades del grupo de compa- 
ración, que se inscriben en él. 


e Algunas unidades del grupo de comparación consiguen participar en el 
programa a pesar de que no se les ofrece. 


e El programa se asigna a partir del índice continuo de elegibilidad, pero 
no se aplica estrictamente el umbral de elegibilidad. 


e Se produce una migración selectiva en función de la condición del trata- 
miento. Por ejemplo, puede que la evaluación compare los resultados en 
los municipios tratados y no tratados, pero las personas pueden decidir 
trasladarse a otro municipio si no les agrada la condición de tratamiento 
de su municipio. 


En general, ante una situación de imperfección del cumplimiento, los 
métodos normales de evaluación de impacto producen estimaciones de la 
intención de tratar. Sin embargo, se pueden obtener estimaciones del tra- 
tamiento en los tratados a partir de las estimaciones de la intención de 
tratar mediante el método de variables instrumentales. 

En el capítulo 5 se explicó la idea básica para lidiar con la imperfección 
del cumplimiento en el contexto de la asignación aleatoria. Mediante un 
ajuste del porcentaje de cumplidores en la muestra de la evaluación, se 
pudo recuperar el efecto local promedio del tratamiento en los cumplidores 
a partir de la estimación de la intención de tratar. Este “ajuste” puede 
ampliarse a otros métodos mediante la aplicación del enfoque más general 
de variables instrumentales. La variable instrumental contiene una fuente 
externa de variación que ayuda a eliminar o corregir el sesgo que puede 
derivarse de la imperfección en el cumplimiento. En el caso de la asignación 
aleatoria con imperfección en el cumplimiento, se utiliza una variable 0/1 
(denominada dummy) que asume el valor de 1 si la unidad estaba asignada 
originalmente al grupo de tratamiento, y de O si la unidad estaba original- 
mente asignada al grupo de comparación. Durante la fase de análisis, la 
variable instrumental se usa con frecuencia en el contexto de una regresión 
en dos fases que permite identificar el impacto del tratamiento en los 
cumplidores. 
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La lógica del método de variable instrumental puede aplicarse al contexto 
de otros métodos de evaluación: 


e En el contexto del diseño de regresión discontinua, debe utilizarse una 
variable 0/1 que indique si la unidad se encuentra en el lado no elegible o 
elegible de la puntuación límite. 


e Enel contexto de la migración selectiva, una posible variable instrumen- 
tal para la ubicación del individuo después del comienzo del programa 
sería la ubicación del individuo antes del anuncio del programa. 


A pesar de la posibilidad de abordar la imperfección en el cumplimiento 
utilizando variables instrumentales, es necesario recordar tres puntos: 


1. Desde un punto de vista técnico, no es deseable que una gran parte del 
grupo de comparación se inscriba en el programa. A medida que 
aumenta la proporción del grupo de comparación que se inscribe en el 
programa, la fracción de “cumplidores” en la población disminuirá, y el 
efecto local promedio del tratamiento estimado con el método de varia- 
ble instrumental será válido solo para una fracción cada vez más 
pequeña de la población de interés. Si esto se extiende demasiado, puede 
que los resultados pierdan toda relevancia para las políticas, dado que ya 
no serían aplicables a una parte suficientemente grande de la población 
de interés. 


2. Tampoco es deseable que una parte grande del grupo de tratamiento 
siga sin inscribirse. Una vez más, a medida que la fracción del grupo 
de tratamiento que se inscribe en el programa disminuye, también lo 
hace la fracción de “cumplidores” de la población. El efecto prome- 
dio del tratamiento estimado con el método de variable instrumental 
será válido solo para una fracción cada vez menor de la población de 
interés. 


3. Como ya se trató en el capítulo 5, el método de variables instrumentales 
es válido solo en ciertas circunstancias; decididamente no es una solu- 
ción universal. 


El efecto de derrame 


Los derrames (o efectos de derrame) son otro problema habitual a los que se 
enfrentan las evaluaciones, sea que se aplique el método de asignación alea- 
toria, el de diseño de regresión discontinua o el de diferencias en diferen- 
cias. Un derrame se produce cuando una intervención afecta a un no 
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participante, y puede ser positivo o negativo. Hay cuatro tipos de efectos de 
derrame, según Angelucci y Di Maro (2015): 


e Externalidades. Se trata de efectos que van de los sujetos tratados a los 


sujetos no tratados. Por ejemplo, vacunar contra la gripe a los niños de un 
pueblo reduce la probabilidad de que los habitantes no vacunados del 
mismo pueblo contraigan esa enfermedad. Se trata de un ejemplo de 
externalidades positivas. Las externalidades también pueden ser negati- 
vas. Por ejemplo, los cultivos de un agricultor pueden verse parcialmente 
destruidos si su vecino aplica un herbicida en su propio terreno y parte 
del herbicida cae sobre el otro lado de la línea divisoria de la propiedad. 


e Interacción social. Los efectos de derrame pueden ser el producto de 


interacciones sociales y económicas entre poblaciones tratadas y no 
tratadas, que conducen a impactos indirectos en los no tratados. Por 
ejemplo, un alumno que recibe una Tablet como parte de un programa 
de mejora del aprendizaje puede compartir el dispositivo con otro 
alumno que no participa en el programa. 


Efectos de equilibrio del contexto. Estos efectos se producen cuando una 
intervención influye en las normas comportamentales o sociales dentro 
de un determinado contexto, como una localidad tratada. Por ejemplo, 
aumentar la cantidad de recursos que reciben los centros de salud trata- 
dos de manera que puedan ampliar su gama de servicios puede influir en 
las expectativas de la población a propósito de cuál debería ser el nivel de 
los servicios ofrecidos en todos los centros de salud. 


Efectos de equilibrio general. Estos efectos se producen cuando las inter- 
venciones influyen en la oferta y demanda de bienes y servicios y, por 
ende, cambian el precio de mercado de esos servicios. Por ejemplo, un 
programa que entrega vales a las mujeres pobres para que utilicen los 
centros privados para dar a luz puede aumentar la demanda de servicios 
en los centros privados, lo que incrementaría el precio del servicio para 
todos. El recuadro 9.2 presenta un ejemplo de externalidades negativas 
debido a efectos de equilibrio general en el contexto de un programa de 
capacitación laboral. 


Si el no participante que experimenta el derrame pertenece al grupo de 
comparación, el efecto derrame viola el requisito básico de que el resultado 
de una unidad no debería verse afectado por la asignación concreta de trata- 
mientos a otras comunidades. Este supuesto de estabilidad del valor de la uni- 
dad de tratamiento (o SUTVA, por sus siglas en inglés, stable unit treatment 
value assumption) es necesario para asegurar que la asignación aleatoria 
produzca estimaciones no sesgadas del impacto. Si el grupo de control se ve 
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Recuadro 9.2: Externalidades negativas debidas a efectos de 
equilibrio general: asistencia para la colocación laboral y 
resultados del mercado de trabajo en Francia 


Los programas de asistencia para la coloca- 
ción laboral son populares en numerosos 
países desarrollados. Los gobiernos contra- 
tan a una entidad externa para que ayude a 
los trabajadores desempleados en su bús- 
queda de empleo. Numerosos estudios lle- 
gan a la conclusión de que estos programas 
de asesoría tienen un impacto significativo y 
positivo en quienes buscan empleo. 

Crépon et al. (2013) investigaron si 
procurar asistencia laboral a trabajadores 
jóvenes y con estudios que buscaban 
empleo en Francia podría tener efectos 
negativos en otros jóvenes que buscan 
empleo pero que no tienen el apoyo del 
programa. Según su hipótesis, podría existir 
un mecanismo de derrame, es decir, cuando 
el mercado laboral no está creciendo 
demasiado, ayudar a una persona que busca 
empleo a encontrarlo puede producirse en 
desmedro de otra persona que busca 
empleo y que, de otra manera, podría haber 


Fuente: Crépon et al. (2013). 


obtenido el empleo que obtuvo el trabajador 
asesorado. Para investigar esta hipótesis, 
llevaron a cabo un experimento aleatorio 
que incluía 235 mercados laborales (en las 
ciudades) de Francia. Estos mercados de 
trabajo fueron asignados aleatoriamente a 
uno de cinco grupos, que variaban en cuanto 
al porcentaje de buscadores de empleo que 
eran asignados al tratamiento de asesoría 
(0%, 25%, 50%, 75% y 100%). En cada 
mercado laboral, los buscadores de empleo 
elegibles eran asignados de forma aleatoria 
al tratamiento, siguiendo esta proporción. 
Al cabo de ocho meses, los autores 
encontraron que los jóvenes desempleados 
asignados al programa tenían probabilidades 
significativamente mayores de encontrar un 
empleo estable que aquellos que no habían 
sido asignados. No obstante, al parecer esto 
se produjo parcialmente a expensas de los 
trabajadores elegibles que no se beneficiaron 
del programa. 


indirectamente afectado por el tratamiento recibido por el grupo de trata- 
miento (por ejemplo, los alumnos del grupo de comparación que usan las 
Tablets de los alumnos del grupo de tratamiento), la comparación no repre- 
senta con precisión qué habría ocurrido en el grupo de tratamiento en 
ausencia de tratamiento (el contrafactual). 

Si el no participante que experimenta el derrame no pertenece al grupo 
de comparación, el supuesto SUTVA sería válido y el grupo de comparación 
seguiría proporcionando una buena estimación del contrafactual. Sin 
embargo, aún habría que medir el derrame, porque representa un impacto 
real del programa. En otras palabras, la comparación de los resultados de los 
grupos de tratamiento y comparación generaría estimaciones no sesgadas 
del impacto del tratamiento en el grupo tratado, pero esto no tendría en 
cuenta el impacto del programa en otros grupos. 
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Un ejemplo clásico de efectos de derrame debido a externalidades se pre- 
senta en Kremer y Miguel (2004), que analizaron el impacto de administrar 
una medicación antiparasitaria a niños en escuelas de Kenia (recuadro 9.3). 
Los parásitos intestinales pueden transmitirse de una persona a otra a través 
del contacto con materia fecal contaminada. Cuando un niño recibe el remedio 
antiparasitario, su “carga de parásitos” disminuye, pero también lo hará la 
carga de parásitos de las personas que viven en su entorno, dado que ya no 
entrarán en contacto con los parásitos del niño. Por lo tanto, en el ejemplo de 
Kenia, cuando se administró el remedio a los niños de una escuela, se benefi- 
ciaron no solo esos niños (beneficio directo) sino también los niños de las 
escuelas vecinas (beneficios indirectos). 

Como se describe en el gráfico 9.1, la campaña antiparasitaria de las escue- 
las del grupo A también disminuye el número de parásitos que afectan a los 
niños que no pertenecen a las escuelas del grupo A. Concretamente, puede 
reducir la carga de parásitos que afectan a los niños que van a las escuelas del 
grupo de comparación B, situadas cerca de las escuelas del grupo A. Sin 
embargo, las escuelas de comparación que se hallan más lejos de las escuelas 
del grupo A -las llamadas escuelas del grupo C- no experimentan dichos 
efectos de derrame porque el remedio administrado en el grupo A no eli- 
mina los parásitos que afectan a los niños que van a las escuelas del grupo C. 
La evaluación y sus resultados se estudian con más detalle en el recuadro 9.3. 
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Recuadro 9.3: Trabajando con los efectos de derrame: remedios 
antiparasitarios, externalidades y educación en Kenia 


El Proyecto de Tratamiento Antiparasitario de 
las escuelas primarias de Busia, Kenia, fue 
diseñado para probar diversos aspectos de 
los tratamientos antiparasitarios y de la pre- 
vención. La iniciativa fue un programa de la 
organización holandesa sin fines de lucro 
International Child Support Africa, en coope- 
ración con el Ministerio de Salud de Kenia. El 
proyecto abarcaba 75 escuelas con una matri- 
culación total de más de 30.000 alumnos de 
6 a 18 años. Los niños fueron tratados con 
remedios antiparasitarios de conformidad 


con las recomendaciones de la Organización 
Mundial de la Salud (OMS) y también recibie- 
ron educación antiparasitaria preventiva con 
charlas sobre la salud, pósteres y capacita- 
ción de los profesores. 

Debido a limitaciones administrativas y 
financieras, el programa se llevó a cabo 
según el orden alfabético de las escuelas. El 
primer grupo de 25 escuelas comenzó en 
1998, el segundo grupo en 1999 y el tercer 
grupo en 2001. Mediante una selección alea- 
toria de las escuelas, Kremer y Miguel 


Continúa en la página siguiente. 
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Recuadro 9.3: Trabajando con los efectos de derrame: remedios antiparasitarios, externalidades y 


educación en Kenia (continúa) 


(2004) pudieron estimar el impacto del trata- 
miento antiparasitario en un establecimiento 
e identificar los derrames en otras escuelas 
utilizando una variación exógena de la cerca- 
nía entre las escuelas de comparación y las 
de tratamiento. Aunque el cumplimiento del 
diseño aleatorio fue relativamente alto (el 
75% de los alumnos asignados al grupo de 
tratamiento recibió los medicamentos anti- 
parasitarios y solo un pequeño porcentaje 
del grupo de comparación recibió trata- 
miento), los investigadores pudieron aprove- 
char el no cumplimiento para determinar las 
externalidades de salud, o derrames, en las 
escuelas. 

El efecto directo de las intervenciones 
fue una reducción de las infecciones parasi- 
tarias moderadas a graves en 26 puntos 
porcentuales para los alumnos que tomaban 
la medicación. Entretanto, las infecciones 
moderadas a graves entre los alumnos 
que asistían a las escuelas de trata- 
miento pero no tomaban la medicación 


Fuente: Kremer y Miguel (2004). 


disminuyeron en 12 puntos porcentuales a 
través de un efecto de derrame indirecto. 
También se observaron externalidades entre 
las escuelas. 

Dado que el costo del tratamiento antipa- 
rasitario es tan bajo y que los efectos en la 
salud y la educación son relativamente altos, 
los autores llegaron a la conclusión de que el 
tratamiento antiparasitario es una manera 
relativamente costo-efectiva para mejorar 
las tasas de participación en las escuelas. 
El estudio también muestra que las enfer- 
medades tropicales como los parásitos pue- 
den desempeñar un importante rol en los 
resultados educativos, lo cual fortalece los 
argumentos de que la alta carga de infeccio- 
nes existente en África puede ser uno de los 
factores que explica su bajo ingreso. Por lo 
tanto, Kremer y Miguel sostienen que el estu- 
dio es un sólido argumento a favor de las sub- 
venciones públicas a los tratamientos contra 
las infecciones, con beneficios de derrame 
similares en los países en desarrollo. 


Diseño de una evaluación de impacto que tiene en cuenta 
los derrames 


Supóngase que se diseña una evaluación de impacto para un programa 
donde es probable que se produzcan derrames. ¿Cómo se enfocaría esto? 
Lo primero es entender que el objetivo de la evaluación necesita ser más 
amplio. Mientras que una evaluación estándar pretende estimar el impacto 
(o efecto causal) de un programa en un resultado de interés para las unida- 
des que reciben el tratamiento, una evaluación con efectos de derrame 
tendrá que responder a dos preguntas: 


1. La pregunta estándar sobre la evaluación del impacto directo. ¿Cuál es el 
impacto (o efecto causal) de un programa en un resultado de interés para 
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Gráfico 9.1 Un ejemplo clásico de efecto de derrame: externalidades positivas 
de la administración de remedios antiparasitarios a los niños de las escuelas 


Zona de externalidades 
del tratamiento 
antiparasitario 


las unidades que reciben el tratamiento? Se trata del impacto directo que 
el programa tiene en los grupos tratados. 


2. Una segunda pregunta sobre la evaluación del impacto indirecto. ¿Cuál es 
el impacto (o efecto causal) de un programa en un resultado de interés en 
las unidades que no reciben el tratamiento? Se trata del impacto indirecto 
que el programa tiene en los grupos no tratados. 


Para estimar el impacto directo en los grupos tratados, habrá que elegir el 
grupo de comparación de tal manera que no se vea afectado por los derra- 
mes. Por ejemplo, puede ponerse como condición que los pueblos, clínicas u 
hogares de tratamiento y comparación estén situados lo suficientemente 
lejos unos de otros de manera que los derrames sean poco probables. 

Para estimar el impacto indirecto en los grupos no tratados, debería iden- 
tificarse para cada grupo no tratado un grupo de comparación adicional que 
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pueda verse afectado por los derrames. Por ejemplo, los trabajadores comu- 
nitarios de la salud pueden realizar visitas domiciliarias para proporcionar 
información a los padres acerca de los beneficios de una dieta variada mejo- 
rada para los niños. Supóngase que los trabajadores comunitarios de la salud 
solo visitan algunos hogares de un pueblo determinado. Uno puede estar 
interesado en los efectos de derrame sobre los niños de los hogares no visita- 
dos, en cuyo caso necesitaría hallar un grupo de comparación para estos 
niños. Al mismo tiempo, puede ser que la intervención también afecte la 
variedad de la dieta de los adultos. Si tal efecto indirecto es de interés para la 
evaluación, se necesitaría también un grupo de comparación para los adul- 
tos. A medida que aumente el número de canales potenciales de derrame, el 
diseño puede complicarse con relativa rapidez. 

Las evaluaciones con efectos de derrame plantean ciertos problemas 
especificos. Por ejemplo, cuando los efectos de derrame son probables, es 
importante entender el mecanismo de derrame, ya sea biológico, social, 
ambiental o de otro tipo. Si no se sabe cuál es el mecanismo de derrame, no 
será posible elegir con precisión los grupos de comparación que son y no son 
afectados por los derrames. En segundo lugar, una evaluación con efectos de 
derrame requiere una recopilación de datos más amplia que una evaluación 
en la cual esa preocupación no existe: hay un grupo de comparación adicio- 
nal (en el ejemplo anterior, los pueblos vecinos). Puede que también tengan 
que recopilarse datos sobre las otras unidades (en el ejemplo anterior, los 
adultos de los hogares objetivo para visitas relacionadas con la nutrición de 
los niños). En el recuadro 9.4 se analiza cómo los investigadores manejaron 
los efectos de derrame en una evaluación de un programa de transferencias 
condicionadas en México. 


Recuadro 9.4: Evaluación de los efectos de derrame: 
transferencias condicionadas y derrames en México 


Angelucci y De Giorgi (2009) analizaron los 
derrames en el programa Progresa, en 
México, que proporcionaba transferencias 
condicionadas a los hogares (véanse los 
recuadros 1.1 y 4.2). Los investigadores 
buscaban analizar si había riesgo compartido 
en los pueblos. Si los hogares compartían 
riesgo, los hogares elegibles podían 
transferir parte del efectivo a hogares no 
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elegibles a través de préstamos o regalos. 
El programa Progresa se implantó por 
fases a lo largo de dos años, y se seleccionaron 
aleatoriamente 320 pueblos para recibir las 
transferencias de efectivo en 1998, y 186 en 
1999. Por lo tanto, entre 1998 y 1999 había 320 
pueblos de tratamiento y 186 pueblos de 
comparación. En los pueblos de tratamiento, 
la elegibilidad de un hogar para las 
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Recuadro 9.4: Evaluación de los efectos de derrame: transferencias condicionadas y derrames en 


México (continúa) 


transferencias de Progresa estaba determinada 
por el nivel de pobreza y se contaba con los 
datos del censo de ambos grupos. Esto creó 
cuatro subgrupos dentro de la muestra: 
poblaciones elegibles y no elegibles en los 
pueblos de tratamiento y comparación. 
Suponiendo que el programa no afectaba 
indirectamente a los pueblos de comparación, 
los hogares no elegibles en dichos pueblos 
constituían un contrafactual válido para los 
hogares no elegibles en los pueblos de 
tratamiento, con el objetivo de estimar el 
efecto de derrame en los hogares no elegibles 
dentro de los pueblos de comparación. 

Los autores encontraron evidencia de 
derrames positivos en el consumo. El 
consumo de alimentos de los adultos 
aumentó cerca de un 10% al mes en los 
hogares no elegibles de los pueblos de 


Fuente: Angelucci y De Giorgi (2009). 


El desgaste 


tratamiento. Esto equivalía a alrededor de la 
mitad del incremento promedio del consumo 
de alimentos de los hogares elegibles. Los 
resultados también apoyaron la hipótesis de 
riesgo compartido en los pueblos. Los 
hogares no elegibles en los pueblos de 
tratamiento recibieron más préstamos y 
transferencias de los amigos y la familia que 
los hogares no elegibles en los pueblos de 
comparación. Esto implica que el efecto de 
derrame funcionó a través de los mercados 
de seguro y de crédito locales. 

A partir de estos resultados, Angelucci y 
De Giorgi llegaron a la conclusión de que 
las anteriores evaluaciones de Progresa 
subestimaban el impacto del programa en 
un 12% porque no tenían en cuenta los 
efectos indirectos en los hogares no 
elegibles en los pueblos de tratamiento. 


El sesgo del desgaste es otro problema habitual que afecta a las evaluaciones, 
ya sea con el método de asignación aleatoria, de regresión discontinua o de 
diferencias en diferencias. El desgaste se produce cuando partes de la mues- 
tra “desaparecen” a lo largo del tiempo y los investigadores no pueden 
encontrar a todos los miembros iniciales de los grupos de tratamiento y 
comparación en las encuestas o en los datos de seguimiento. Por ejemplo, de 
los 2.500 hogares encuestados en la línea de base, los investigadores pueden 
encontrar solo 2.300 en una encuesta de seguimiento dos años después. Si 
intentan volver a realizar la encuesta al mismo grupo, por ejemplo, 10 años 
después, puede que encuentren incluso menos hogares originales. 

El desgaste se puede producir por diferentes motivos. Por ejemplo, puede 
que los miembros de los hogares o incluso familias enteras se muden a otro 
pueblo, ciudad, región, oincluso país. En un ejemplo reciente, una encuesta de 
seguimiento realizada 22 años después en Jamaica indicó que el 18% de la 
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muestra había emigrado (véase el recuadro 9.5). En otros casos, los encues- 
tados ya no estaban dispuestos a responder a una segunda encuesta. También 
ocurrió que los conflictos y la falta de seguridad en la zona impidieron que 
el equipo de investigación llevara a cabo una encuesta en algunas localida- 
des incluidas en la línea de base. 


Recuadro 9.5: El desgaste en estudios con seguimiento a largo 
plazo: desarrollo infantil temprano y migración en Jamaica 


El desgaste puede ser especialmente 
problemático cuando han pasado muchos 
años entre las encuestas de línea de base y 
seguimiento. En 1986 un equipo de la 
University of West Indies inició un estudio 
para medir los resultados a largo plazo de 
una intervención en la primera infancia en 
Jamaica. En 2008, cuando los participantes 
originales tenían 22 años, se llevó a cabo un 
seguimiento. Fue difícil encontrar la pista 
de todos los participantes del estudio 
original. 

La intervención consistió en un programa 
de dos años que ofreció estimulación 
psicosocial y suplementos nutricionales a 
niños pequeños con problemas de 
crecimiento en Kingston, Jamaica. Un total 
de 129niñosfueron asignados aleatoriamente 
a una de tres ramas de tratamiento o a un 
grupo de comparación. Los investigadores 
también encuestaron a 84 niños sin 
problemas de crecimiento para un segundo 
grupo de comparación. En el seguimiento, 
los investigadores pudieron realizar una 
segunda encuesta con casi el 80% de los 
participantes. No se recogió evidencia de 
desgaste selectivo en el conjunto de la 
muestra, lo que significa que no había 
diferencias significativas en las características 
de línea de base de aquellos que podían ser 
encuestados a los 22 años, comparados con 
aquellos que no podían ser encuestados. 


Sin embargo, al considerarse el subgrupo de 
niños que se habían convertido en 
trabajadores migrantes, se observaron 
señales de desgaste selectivo. De los 23 


trabajadores migrantes, nueve habían 
abandonado la muestra y una parte 
significativamente mayor de aquellos 


pertenecía al grupo de tratamiento. Esto 
implicaba que el tratamiento estaba asociado 
con la migración. Dado que los trabajadores 
migrantes suelen ganar más que aquellos 
que permanecen en Jamaica, esto hizo difícil 
la formulación de estimaciones de impacto. 

Para tratar los sesgos potenciales del 
desgaste entre los trabajadores migrantes, los 
investigadores utilizaron técnicas 
econométricas. Predijeron los ingresos de los 
trabajadores migrantes que habían 
abandonado la muestra mediante una 
regresión de mínimos cuadrados ordinarios 
utilizando como factores determinantes la 
condición de tratamiento, el sexo y 
la migración. Con estas predicciones en la 
estimación de impacto, llegaron a la conclusión 
de que los resultados del programa eran 
impresionantes. La intervención en la primera 
infancia había aumentado los ingresos del 
grupo de tratamiento en un 25%. Este efecto 
era lo bastante grande para que el grupo de 
tratamiento con problemas de crecimiento 
alcanzara al grupo de comparación sin 
problemas de crecimiento 20 años más tarde. 


Fuentes: Gertler et al. (2014); Grantham-McGregor et al. (1991). 
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El desgaste puede ser problemático por dos motivos. En primer lugar, la 
muestra de seguimiento quizá ya no represente adecuadamente a la pobla- 
ción de interés. Recuérdese que cuando se elige la muestra, en el momento de 
la asignación aleatoria, se hace de manera que represente de forma apropiada 
ala población de interés. En otras palabras, se escoge una muestra que tiene 
validez externa para la población de interés. Si la encuesta o la recopilación 
de datos de seguimiento se ve limitada por un desgaste considerable, debería 
ser preocupante que la muestra de seguimiento represente solo a un sub- 
conjunto específico de la población de interés. Por ejemplo, si las personas 
de mayor nivel educativo de la muestra original también son las que emi- 
gran, la encuesta de seguimiento ignoraría a aquellas personas con estudios 
y ya no representaría adecuadamente a la población de interés, que incluía a 
esas personas. 

En segundo lugar, puede que la muestra de seguimiento ya no esté equili- 
brada entre el grupo de tratamiento y de comparación. Supóngase que se 
intenta evaluar un programa que quiere mejorar la educación de las niñas y 
que es más probable que las niñas con estudios se muden a la ciudad a bus- 
car un empleo. Entonces, la encuesta de seguimiento podría mostrar un alto 
desgaste desproporcionado en el grupo de tratamiento, en relación con el 
grupo de comparación. Esto podría afectar la validez interna del programa, 
es decir, al contrastar las unidades de tratamiento y comparación que se 
encuentran en el seguimiento, ya no se podrá dar una estimación precisa del 
impacto del programa. 

Si durante las encuestas de seguimiento se halla desgaste, los siguientes 
dos pasos pueden ayudar a evaluar el alcance del problema. Primero, verifí- 
quese si las características de línea de base de las unidades que abandonaron 
la muestra son estadísticamente iguales a las características de linea de base 
de las unidades que fueron encuestadas con éxito la segunda vez. Siempre 
que las características de línea de base de ambos grupos no sean estadistica- 
mente diferentes, la nueva muestra debería seguir representando a la pobla- 
ción de interés. 

Segundo, verifiquese si la tasa de desgaste del grupo de tratamiento es 
similar a la tasa de desgaste del grupo de comparación. Si ambas son signifi- 
cativamente diferentes, surge la preocupación de que la muestra ya no sea 
válida, y quizá deban utilizarse diversas técnicas estadísticas para intentar 
corregir esto. Un método habitual es la ponderación por probabilidad inversa, 
un método que repondera estadisticamente los datos (en este caso, los datos 
de seguimiento) para corregir el hecho de que una parte de los encuestados 
originales está ausente. El método formula una reponderación de la muestra 
de seguimiento de modo que tenga un aspecto similar a la muestra de línea 
de base. 
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Programación en el tiempo y persistencia de 
los efectos 


Loscanales detransmisión entreinsumos, actividades, productos y resultados 
pueden tener lugar de inmediato, pronto o después de un período de tiempo, 
y suelen estar estrechamente relacionados con los cambios en el comporta- 
miento humano. En el capítulo 2 se ponía de relieve la importancia de pensar 
en estos canales y planificar correspondientemente antes de que comenzara 
la intervención, así como de desarrollar una cadena causal clara para el pro- 
grama que se esté evaluando. En aras de la sencillez, nos hemos abstraido de 
los problemas relacionados con la programación en el tiempo. Sin embargo, es 
fundamental considerar estos aspectos cuando se diseña una evaluación. 

En primer lugar, los programas no necesariamente se vuelven plenamente 
efectivos justo después de su inicio (King y Behrman, 2009). Los administra- 
dores de un programa necesitan tiempo para que éste comience a funcionar, 
y puede ser que los beneficiarios no vean los frutos de inmediato porque los 
cambios de conducta requieren tiempo, y puede ser que las instituciones tam- 
poco modifiquen su comportamiento con rapidez. Por otro lado, una vez que 
las instituciones y los beneficiarios cambian ciertas conductas, puede ocurrir 
que estas se mantengan aun cuando se suspenda el programa. Por ejemplo, 
un programa que incentiva a los hogares a separar y reciclar la basura y aho- 
rrar energía puede seguir siendo efectivo después de que se eliminen los 
incentivos, si consigue cambiar las normas de los hogares en el manejo de la 
basura y la energía. Cuando se diseña una evaluación, hay que tener mucho 
cuidado (y ser realistas) para definir cuánto podría tardar el programa en 
alcanzar su plena efectividad. Puede que sea necesario llevar a cabo diversas 
encuestas de seguimiento para medir el impacto del programa a lo largo del 
tiempo, o incluso después de que el programa se interrumpa. El recuadro 9.6 
presenta el caso de una evaluación donde algunos efectos solo se hicieron 
visibles después de suspendida la intervención inicial, 


Recuadro 9.6: Evaluación de los efectos a largo plazo: subsidios y 
adopción de redes antimosquitos tratadas con insecticidas en Kenia 


Dupas (2014) diseñó una evaluación de impacto inglés, insecticide treated bed nets) en Busia, 
para medir los impactos tanto de corto como Kenia. Utilizando un experimento de dos fases 
de largo plazo de diferentes esquemas de sub- donde intervenía la fijación de precios, Dupas 
sidios en la demanda de redes antimosquitos asignó aleatoriamente hogares a diversos nive- 
tratadas con insecticidas (ITN, por sus siglas en les de subsidios para un nuevo tipo de ITN. 


Continúa en la página siguiente. 
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Recuadro 9.6: Evaluación de los efectos a largo plazo: subsidios y adopción de redes antimosquitos 


tratadas con insecticidas en Kenia (continúa) 


Un año después, todos los hogares en un sub- 
conjunto de pueblos tuvieron la oportunidad de 
comprar la misma red. Esto permitió a los 
investigadores medir la disponibilidad de los 
hogares a pagar por las ITN y cómo esta dispo- 
nibilidad cambiaba en función del subsidio reci- 
bido en la primera fase del programa. 

En general, los resultados indicaron 
que un subsidio único tenía impactos 
significativamente positivos en la adopción 
de ITN y la disponibilidad para pagar a largo 
plazo. En la primera fase del experimento, 
Dupas observó que los hogares que recibían 
un subsidio que reducía el precio de la ITN 
de US$3,80 a US$0,75 tenían un 60% más 
de probabilidades de comprarla. Cuando la 


Fuente: Dupas (2014). 


Otros recursos 


ITN se ofreció gratis, la tasa de adopción 
aumentó al 98%. A largo plazo, las tasas de 
adopción más altas se tradujeron en una 
mayor disponibilidad a pagar, dado que los 
hogares vieron los beneficios de tener una 
ITN. Aquellos que recibieron uno de los 
subsidios más grandes en la primera fase 
tenían tres veces más probabilidades de 
comprar otra ITN en la segunda fase a más 
del doble del precio. 

Los resultados de este estudio implican 
que se produce un efecto de aprendizaje en 
las intervenciones en ITN. Esto señala que 
es importante considerar los impactos de 
las intervenciones a largo plazo, así como 
dar a conocer la persistencia de los efectos. 


e Para material de apoyo relacionado con el libro y para hipervínculos a más 


recursos, se recomienda consultar el sitio web de la Evaluación de Impacto en 


la Práctica (http://www.worldbank.org/ieinpractice). 


Nota 


1. Un método estadístico más avanzado sería estimar “límites nítidos” en los 
efectos del tratamiento (véase Lee, 2009). 
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CAPÍTULO 10 


Evaluación de programas 
multifacéticos 


Evaluación de programas que combinan diversas 
opciones de tratamiento 


Hasta ahora, se han analizado programas con un solo tipo de tratamiento. Sin 
embargo, muchas cuestiones relevantes relacionadas con las políticas se plan- 
tean en programas multifacéticos, es decir, que combinan varias opciones de 
tratamiento.' Los responsables de formular políticas pueden estar interesa- 
dos en saber no solo si el programa funciona o no, sino también si funciona 
mejor o tiene un costo menor que otro programa. Por ejemplo, si se quiere 
aumentar la asistencia a la escuela, ¿es más eficaz orientar las intervenciones 
a la demanda (como las transferencias condicionadas a las familias) o a la 
oferta (como mayores incentivos para los profesores)? Y si se introducen las 
dos intervenciones conjuntamente, ¿funcionan mejor que cada una por su 
cuenta?, ¿son complementarias? Si la costo-efectividad es una prioridad, 
puede preguntarse perfectamente cuál es el nivel óptimo de los servicios que 
debe prestar el programa. Por ejemplo, ¿cuál es la duración óptima de un pro- 
grama de capacitación para el empleo? ¿Un programa de seis meses contri- 
buye más que un programa de tres meses a que los participantes encuentren 
empleo? De ser así, ¿la diferencia es lo suficientemente grande para justificar 
los recursos adicionales necesarios para un programa de seis meses? Por 
último, a los responsables de políticas les puede interesar cómo alterar un 
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programa existente para hacerlo más efectivo, y quizá quieran probar diversos 
mecanismos con el fin de encontrar cuál(es) funciona(n) mejor. 

Además de estimar el impacto de una intervención sobre un resultado de 
interés, las evaluaciones de impacto pueden ayudar a responder preguntas 
más generales, como las siguientes: 


e ¿Cuál es el impacto de un tratamiento en comparación con otro? Por 
ejemplo, ¿cuál es el impacto en el desarrollo cognitivo de los niños de un 
programa que ofrece capacitación a los padres, en comparación con una 
intervención sobre nutrición? 


e ¿Elimpacto conjunto de un primer y un segundo tratamiento es mayor que 
la suma de los dos impactos? Por ejemplo, ¿el impacto de la intervención de 
capacitación de padres y la intervención sobre nutrición es mayor, menor o 
igual que la suma de los efectos de cada una de las intervenciones? 


e ¿Cuál es el impacto de un tratamiento de alta intensidad en comparación 
con un tratamiento de menor intensidad? Por ejemplo, ¿cuál es el efecto 
en el desarrollo cognitivo de niños con retraso en el crecimiento si un 
trabajador social los visita en su casa cada dos semanas, en lugar de visi- 
tarlos una vez al mes? 


Este capítulo ofrece ejemplos de diseños de evaluaciones de impacto para dos 
tipos de programas multifacéticos: los que tienen múltiples niveles del mismo 
tratamiento y los que tienen múltiples tratamientos. Primero se analiza cómo 
diseñar una evaluación de impacto de un programa con varios niveles de tra- 
tamiento. Después, se examinan los diferentes tipos de impactos de un pro- 
grama con múltiples tratamientos. Para este análisis se supone que se usará un 
método de asignación aleatoria, aunque puede generalizarse a otros métodos. 


Evaluación de programas con diferentes niveles 
de tratamiento 


Diseñar una evaluación de impacto para un programa con niveles variables de 
tratamiento es relativamente fácil. Imagínese que se intenta evaluar el impacto 
de un programa con dos niveles de tratamiento: alto (por ejemplo, visitas cada 
dos semanas) y bajo (visitas mensuales). Se quiere evaluar el impacto de 
ambas opciones, y saber cuánto afectan a los resultados esas visitas adiciona- 
les. Para ello, se puede organizar un sorteo de modo de decidir quién recibe el 
nivel alto de tratamiento, quién recibe el nivel bajo de tratamiento y a quién se 
asigna al grupo de comparación (el gráfico 10.1 ilustra este proceso). 

Como es habitual en la asignación aleatoria, el primer paso consiste en 
definir la población de unidades elegibles para el programa. El segundo, en 
seleccionar una muestra aleatoria de unidades que se incluirá en la evaluación, 
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Gráfico 10.1 Pasos para la asignación aleatoria de dos niveles de tratamiento 


1. Definir unidades 2. Seleccionar la muestra 3. Asignación aleatoria a los 
elegibles de evaluación niveles alto y bajo del tratamiento 


E> I 
A No elegible Elegible 


la denominada muestra de evaluación. Una vez que se cuente con la muestra de 
evaluación, en el tercer paso se asignarán aleatoriamente unidades al grupo 
que recibe un nivel alto de tratamiento, al grupo que recibe el nivel bajo de tra- 
tamiento o al grupo de comparación. Como resultado de la asignación aleatoria 
a múltiples niveles de tratamiento, se habrán creado tres grupos distintos: 


e El grupo A es el grupo de comparación. 
e El grupo B recibe el nivel bajo de tratamiento. 
e El grupo C recibe el nivel alto de tratamiento. 


Cuando se implementa correctamente, la asignación aleatoria garantiza que 
los tres grupos sean similares. Por lo tanto, se puede estimar el impacto del 
nivel alto de tratamiento mediante la comparación del resultado promedio 
del grupo C con el resultado promedio del grupo A. También se puede esti- 
mar el nivel bajo de tratamiento comparando el resultado promedio del 
grupo B con el del grupo A. Finalmente, se puede evaluar si el nivel alto de 
tratamiento tiene un mayor impacto que el nivel bajo de tratamiento com- 
parando los resultados promedio de los grupos B y C. 

La estimación del impacto de un programa con más de dos niveles de 
tratamiento seguirá la misma lógica. Si existen tres niveles de tratamiento, el 
proceso de asignación aleatoria creará tres grupos de tratamiento diferen- 
tes, además de un grupo de comparación. En general, con n niveles de trata- 
miento, habrá n grupos de tratamiento, más un grupo de comparación. En 
los recuadros 10.1 y 10.2 se presentan ejemplos de evaluaciones de impacto 
que prueban modalidades de diferentes intensidades u opciones de trata- 
mientos múltiples. 


Evaluación de programas multifacéticos 


Concepto clave 

Al evaluar programas 
con n diferentes 
niveles de tratamiento, 
debe haber n grupos 
de tratamiento más un 
grupo de comparación. 
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Recuadro 10.1: Prueba de la intensidad de un programa para 
mejorar la adhesión a un tratamiento antirretroviral 


Pop-Eleches et al. (2011) utilizaron un diseño 
multinivel transversal para evaluar el impacto 
del uso de mensajes SMS como recordato- 
rios para la adhesión de los pacientes con 
VIH/SIDA a la terapia antirretroviral en una 
clínica rural de Kenia. El estudio varió la inten- 
sidad del tratamiento en dos dimensiones: la 
frecuencia con que se enviaban los mensa- 
jes a los pacientes (a diario o semanalmente) 
y la extensión de los mensajes (breves o lar 
gos). Los mensajes breves tenían solo un 
recordatorio (“Este es un recordatorio para 
usted”), mientras que los mensajes largos 
incluían un recordatorio y una frase de aliento 
(“Este es un recordatorio. Sea fuerte y 
valiente, nos preocupamos por usted”). Se 
asignó un total de 531 pacientes a uno de los 
cuatro grupos de tratamiento o al grupo de 
comparación. Los grupos de tratamiento 
consistían en: mensajes semanales breves, 
mensajes semanales largos, mensajes dia- 
rios breves o mensajes diarios largos. 

Una tercera parte de la muestra se asignó al 
grupo de control y las otras dos terceras partes 
se asignaron por igual a cada uno de los cuatro 
grupos de intervención. Se generó una secuen- 
cia de números aleatorios entre O y 1. Cuatro 
intervalos iguales entre 0 y 2/3 correspondían a 


Cuadro B10.1.1 


los cuatro grupos de intervención, mientras 
que el intervalo de valor de 2/3 a 1 correspon- 
día al grupo de control. 

Los investigadores concluyeron que los 
mensajes semanales aumentaban el porcen- 
taje de pacientes con un 90% de adhesión a 
la terapia antirretroviral en alrededor de un 
13%-16%, en comparación con la ausencia de 
mensajes. Estos mensajes semanales tam- 
bién eran efectivos para reducir la frecuencia 
de las interrupciones del tratamiento, que 
-según se ha demostrado- constituyen una 
causa importante del fracaso por resistencia 
al tratamiento en contextos de recursos limi- 
tados. Contrariamente a las expectativas, aña- 
dir palabras de aliento en los mensajes más 
largos no era más efectivo que un mensaje 
breve o ningún mensaje. 

Los investigadores también descubrieron 
que si bien los mensajes semanales mejora- 
ban la adhesión, los mensajes diarios no lo 
hacían, pero no fueron capaces de distinguir 
por qué los primeros eran los más efectivos. 
Es posible que esta conclusión se explique 
gracias a la habituación, o la menor respuesta 
ante un estímulo repetido con frecuencia, o 
puede que los pacientes sencillamente opina- 
ran que los mensajes diarios eran intrusivos. 


Resumen del diseño del programa 


Frecuencia del 


Grupo Tipo de mensaje mensaje N° de pacientes 
1 Solo recordatorio Semanal 13 
2 Recordatorio + aliento Semanal 74 
3 Solo recordatorio Diario 70 
4 Recordatorio + aliento Diario 72 
5 Ninguno (grupo de comparación) Ninguna 139 


Fuente: Pop-Eleches et al. (2011). 


La evaluación de impacto en la práctica 


Recuadro 10.2: Pruebas de alternativas de los programas para 
monitorear la corrupción en Indonesia 


En Indonesia, Olken (2007) utilizó un diseño 
transversal para probar diferentes métodos 
con el fin de controlar la corrupción, desde 
una estrategia de vigilancia de arriba hacia 
abajo hasta una supervisión comunitaria 
más de base. El autor recurrió a una metodo- 
logía de asignación aleatoria en más de 600 
comunidades que estaban construyendo 
carreteras como parte de un proyecto nacio- 
nal de mejora de infraestructura. 

Uno de los tratamientos múltiples con- 
sistió en seleccionar de manera aleatoria 
algunas comunidades para informarles que 
su proyecto de construcción sería auditado 
por un funcionario público. Luego, para 
poner a prueba la participación comunitaria 
en la supervisión, los investigadores imple- 
mentaron dos intervenciones. Distribuyeron 
invitaciones a reuniones comunitarias para 
la rendición de cuentas y repartieron formu- 
larios para presentar comentarios de manera 


Fuente: Olken (2007). 


anónima. Para medir los niveles de corrup- 
ción, un equipo independiente de ingenieros 
y topógrafos tomó muestras básicas de las 
nuevas carreteras, estimó el costo de los 
materiales usados y comparó sus cálculos 
con los presupuestos presentados. 

Olken observó que el incremento de las 
auditorías públicas (desde una probabilidad 
de resultar auditado de alrededor del 4% 
hasta una probabilidad del 100%) redujo la 
pérdida de gastos en unos 8 puntos por- 
centuales (a partir de un 24%). El aumento 
de la participación de la comunidad en la 
supervisión tuvo un impacto sobre la pér- 
dida de mano de obra pero no sobre la pér- 
dida de gastos. Los formularios para 
comentarios solo resultaron eficaces 
cuando se distribuyeron entre los niños en 
la escuela para que se los entregaran a sus 
familias, y no cuando fueron entregados a 
los líderes comunitarios. 


Evaluación de múltiples intervenciones 


Además de comparar varios niveles de tratamiento, también se pueden com- 
parar opciones de tratamiento totalmente diferentes. De hecho, los respon- 
sables de las políticas prefieren comparar los méritos relativos de diferentes 
intervenciones, más que conocer solo el impacto de una intervención. 
Imagínese que se propone evaluar el impacto en la matriculación escolar 
de un programa con dos intervenciones, transferencias condicionadas a las 
familias de los estudiantes y transporte gratuito en autobús a la escuela. 
Primero, es necesario conocer el impacto de cada intervención por separado. 
Este caso es prácticamente idéntico a aquel en que se prueban diferentes 
niveles de tratamiento de una intervención, a saber, en lugar de asignar alea- 
toriamente las unidades a niveles altos y bajos de tratamiento y al grupo de 
comparación, se les puede asignar de forma aleatoria a un grupo de 
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transferencias condicionadas, a un grupo de transporte gratuito en autobús 
y al grupo de comparación. En general, con n niveles de tratamiento, habrá 
n grupos de tratamiento, más un grupo de comparación. 

Aparte de querer conocer el impacto de cada intervención por separado, 
puede que también se desee conocer si la combinación de los dos es mejor 
que la simple suma de los efectos individuales. Desde el punto de vista de los 
participantes, el programa está disponible en tres formas diferentes: solo 
transferencias condicionadas, únicamente transporte gratuito en autobús o 
una combinación de transferencias y transporte gratuito. 

La asignación aleatoria para un programa con dos intervenciones es muy 
similar al proceso de un programa con una sola intervención. La principal 
diferencia es la necesidad de organizar varios sorteos independientes, en 
lugar de uno. Esto produce un diseño cruzado, a veces llamado diseño trans- 
versal. En el gráfico 10.2 se ilustra este proceso. Como en el caso anterior, en 
el primer paso se define la población de unidades elegibles para el programa. 
El segundo paso consiste en seleccionar una muestra aleatoria de unidades 
elegibles para formar la muestra de evaluación. Una vez obtenida la muestra 
de evaluación, en el tercer paso se asignan aleatoriamente sus unidades a un 
grupo de tratamiento y a un grupo de control. En el cuarto paso, se lleva a 
cabo un segundo sorteo para asignar de forma aleatoria una subserie del 
grupo de tratamiento a fin de que reciba la segunda intervención. Por último, 
en el quinto paso se realiza otro sorteo para asignar una subserie del grupo 
de comparación inicial a fin de que reciba la segunda intervención, mientras 
que la otra subserie se mantiene como un conjunto puro de comparación.? 


Gráfico 10.2 Pasos para la asignación aleatoria de dos intervenciones 


1. Definir unidades 2. Seleccionar la 3. Asignación 4. y 5. Asignación 
elegibles muestra de aleatoria al aleatoria al segundo 
evaluación primer tratamiento 


tratamiento 


; Æ : 
A No elegible € Elegible 


La evaluación de impacto en la práctica 


Como consecuencia de la asignación aleatoria a los dos tratamientos, se 
habrán creado cuatro grupos, como se muestra en el gráfico 10.3. 


e El grupo A recibe ambas intervenciones (transferencias condicionadas y 
transporte en autobús). 


e El grupo B recibe la primera intervención pero no la segunda (solo trans- 
ferencias condicionadas). 


e El grupo C no recibe la primera intervención pero si la segunda (solo el 
transporte en autobús). 


e El grupo D no recibe ni la primera ni la segunda intervención, y consti- 
tuye el grupo de comparación puro. 


Cuando se implementa correctamente, la asignación aleatoria garantiza que 
los cuatro grupos sean similares. Por lo tanto, se puede estimar el impacto de 
la primera intervención comparando el resultado del grupo B (por ejemplo, 
la tasa de asistencia escolar) con el resultado del grupo puro de compara- 
ción, el grupo D. También se puede estimar el impacto de la segunda inter- 
vención comparando el resultado del grupo C con el resultado del grupo de 
comparación puro, el grupo D. Además, este diseño también permite com- 
parar el impacto progresivo de recibir la segunda intervención cuando una 
unidad ya ha recibido la primera. La comparación de los resultados del 


Gráfico 10.3 Diseño híbrido para un programa con dos intervenciones 


Intervención 1 


Tratamiento Comparación 


Intervención 2 
Tratamiento 


Comparación 
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Concepto clave 
Para que una 
evaluación estime el 
impacto de todas las 
posibles combinacio- 
nes entre n interven- 
ciones diferentes, se 
requerirá un total de 2” 
grupos de tratamiento 


y de comparación. 
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grupo A y del grupo B determinará el impacto de la segunda intervención 
para aquellas unidades que ya han recibido la primera intervención. La 
comparación de los resultados de los grupos A y C determinará el impacto 
de la primera intervención en las unidades que ya han recibido la segunda 
intervención. 

En la descripción anterior se ha usado el ejemplo de la asignación aleato- 
ria para explicar la manera de diseñar una evaluación de impacto para un 
programa con dos intervenciones diferentes. Cuando un programa cuenta 
con más de dos intervenciones, se puede aumentar el número de sorteos y 
continuar subdividiendo la evaluación para formar grupos que reciben las 
diversas combinaciones de intervenciones. También se pueden implemen- 
tar múltiples tratamientos y múltiples niveles de tratamiento. Aunque se 
amplie el número de grupos, la teoría fundamental del diseño sigue siendo 
la misma que la descripta anteriormente. 

Sin embargo, la evaluación de más de una o dos intervenciones generará 
dificultades prácticas tanto en la evaluación como en el funcionamiento del 
programa, ya que la complejidad del diseño incrementará exponencial- 
mente el número de ramas de tratamiento. Para evaluar el impacto de una 
sola intervención se necesitan únicamente dos grupos, uno de tratamiento y 
otro de comparación. Para evaluar el impacto de dos intervenciones se nece- 
sitan cuatro grupos, tres de tratamiento y uno de comparación. Si se quisiera 
evaluar el impacto de tres intervenciones, incluidas todas las combinaciones 
posibles entre ellas, se necesitaría 2 x 2 x 2 = 8 grupos en la evaluación. En 
general, en el caso de una evaluación que vaya a incluir todas las combina- 
ciones posibles entre n intervenciones, se necesitarán 2” grupos. Además, 
para poder distinguir los resultados de los grupos, cada grupo requiere un 
número suficiente de unidades de observación de modo de garantizar una 
potencia estadística suficiente. En la práctica, la detección de diferencias 
entre las ramas de la intervención puede exigir muestras más grandes que la 
comparación entre un grupo de tratamiento y un grupo de comparación 
puro. Si las dos ramas de tratamiento logran provocar cambios en los resul- 
tados deseados, se requerirán muestras más grandes para detectar las posi- 
bles diferencias menores entre los dos grupos. 

Por último, los diseños cruzados también se pueden utilizar en diseños 
de evaluación que combinan diversos métodos de evaluación. Las reglas 
operativas que rigen la asignación de cada tratamiento determinarán qué 
combinación de métodos debe usarse. Por ejemplo, puede ocurrir que el 
primer tratamiento se asigne sobre la base de una puntuación de elegibili- 
dad, pero el segundo se asignará de manera aleatoria. En este caso, el 
diseño puede recurrir a un diseño de regresión discontinua para la pri- 
mera intervención y a un método de asignación aleatoria para la segunda 
intervención. 


La evaluación de impacto en la práctica 


Otros recursos 


e Para material de apoyo relacionado con este libro y para hipervínculos de más 
recursos, se recomienda consultar el sitio web de la Evaluación de Impacto en 
la Práctica (http://www.worldbank.org/ieinpractice). 

e Para más información sobre el diseño de evaluaciones de impacto con múlti- 
ples opciones de tratamiento, véase A. Banerjee y E. Duflo (2009), “The Expe- 
rimental Approach to Development Economics.” Annual Review of Economics 
1: 151-78. 


Notas 


1. Véase Banerjee y Duflo (2009), para un análisis más detallado. 


2. Nótese que, en la práctica, es posible combinar los tres sorteos separados en uno 
solo y alcanzar el mismo resultado. 

3. Probar el impacto de múltiples intervenciones también tiene una implicación 
más sutil: a medida que se incrementa el número de intervenciones o niveles de 
tratamiento que se contrastan unos con otros, se aumenta la probabilidad de 
encontrar un impacto en al menos una de las pruebas, aunque no haya impacto. 
En otras palabras, hay más probabilidades de encontrar un falso positivo. Para 
evitar esto, se deben ajustar las pruebas estadísticas de modo de dar cuenta de 
las pruebas de hipótesis múltiples. Los falsos positivos también se denominan 
errores de tipo II. Véase el capitulo 15 para más información sobre los errores de 
tipo II y referencias sobre las pruebas de hipótesis múltiples. 
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Tercera parte 


CÓMO IMPLEMENTAR 
UNA EVALUACIÓN DE 
IMPACTO 


La tercera parte de este libro se centra en cómo implementar una evaluación 
de impacto: cómo seleccionar un método de evaluación de impacto compati- 
ble con las reglas operativas de un programa; cómo manejar una evaluación 
de impacto, lo cual incluye asegurar una sólida asociación entre los equipos 
de investigación y los responsables de las políticas, y gestionar el tiempo y el 
presupuesto de una evaluación; cómo garantizar que una evaluación sea a la 
vez ética y creíble, siguiendo los principios para trabajar con sujetos humanos 
y ciencia abierta; y cómo utilizar la evaluación de impacto para fundamentar las 
políticas públicas. 


En el capítulo 11 se describe cómo usar las reglas operativas del programa como 
base para elegir un método de evaluación de impacto, a saber: los recursos 


de que dispone un programa, el criterio para seleccionar a los beneficiarios y 
el calendario de la implementación. Se establece un marco de trabajo sencillo 
para determinar cuál de las metodologías de evaluación de impacto presenta- 
das en la segunda parte es la más adecuada para un determinado programa, de 
acuerdo con sus reglas operativas. El capítulo también trata de cómo el mejor 
método es el que requiere los supuestos más débiles y tiene la menor cantidad 
de requisitos de datos en el contexto de las reglas operativas. 


En el capítulo 12 se analiza la relación entre los equipos de investigación y 
de políticas públicas y sus respectivos roles. También se aborda la diferencia 
entre independencia y ausencia de sesgo, y se destacan ámbitos que pueden 
revelarse como sensibles en la realización de una evaluación de impacto. El 
capítulo ofrece orientación sobre cómo gestionar las expectativas de las par- 
tes interesadas y destaca algunos de los riesgos habituales presentes en las 
evaluaciones de impacto, así como sugerencias sobre cómo gestionar esos 
riesgos. Concluye con una visión general de cómo gestionar las actividades 
de evaluación de impacto, entre ellas la creación del equipo de evaluación, el 
calendario de la evaluación, el presupuesto y la recaudación de fondos. 


El capítulo 13 proporciona una visión general de la ética y la ciencia de la eva- 
luación de impacto, lo que incluye la importancia de no negar los beneficios 
a los beneficiarios elegibles en aras de la evaluación; cómo aplicar principios 
básicos de investigación ética con sujetos humanos; el rol de las juntas de 
revisión institucional que aprueban y monitorean la investigación con dichos 
sujetos; y la importancia de practicar la ciencia abierta, lo cual implica registrar 
las evaluaciones y divulgar públicamente los datos para otras investigaciones 
y para replicar los resultados. 


El capítulo 14 presenta visiones novedosas sobre cómo utilizar las evaluacio- 
nes de impacto para fundamentar las políticas públicas, lo que abarca consejos 
sobre cómo destacar la relevancia de los resultados, un debate sobre el tipo 
de productos que las evaluaciones de impacto pueden y deben elaborar, y 
orientación sobre cómo producir y divulgar los hallazgos para maximizar el 
impacto de las políticas. 


CAPÍTULO 11 


Elección de un método de 
evaluación de impacto 


¿Qué método usar en un determinado programa? 


La clave para identificar el impacto causal de un programa consiste en 
encontrar un grupo de comparación válido para estimar el contrafactual y 
responder a la pregunta de interés de la política pública. En la segunda 
parte de este volumen se abordaron diversos métodos, entre ellos la asigna- 
ción aleatoria, las variables instrumentales, la regresión discontinua, las 
diferencias en diferencias y el pareamiento. En este capítulo, se analizará la 
pregunta relacionada con qué método elegir para un determinado pro- 
grama que se quiera evaluar. 

En primer lugar, se muestra que las reglas operativas del programa cons- 
tituyen una clara orientación para encontrar grupos de comparación y, por 
lo tanto, para hallar el método más adecuado para su contexto de políticas. 
Un principio general es que si las reglas operativas de un programa están 
bien definidas, pueden ayudar a determinar cuál es el método más ade- 
cuado para evaluar ese programa concreto. 

En segundo lugar, los métodos introducidos en la segunda parte tie- 
nen diferentes requisitos de datos y se basan en diferentes supuestos 
fundamentales. Algunos métodos requieren supuestos más fuertes que 
otros para estimar con precisión los cambios en los resultados 
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Concepto clave 


Las reglas operativas 
de un programa 
determinan qué 
método de evaluación 
de impacto es el más 
adecuado para evaluar 
el programa, no a la 
inversa. 


Concepto clave 
Cuando se diseñan 
evaluaciones de 
impacto, casi siempre 
se pueden encontrar 
grupos de comparación 
válidos si las reglas 
operativas para 
seleccionar a los 
beneficiarios son 
equitativas, 
transparentes y están 
sujetas a rendición de 
cuentas. 
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“causados” por la intervención. En general, se prefiere el método que 
requiere los supuestos más débiles y tiene la menor cantidad de requisi- 
tos de datos en el contexto de las reglas operativas. 

Por último, se examina cómo elegir la unidad de intervención. Por 
ejemplo, ¿el programa se asignará a nivel individual, o a un nivel superior, 
como las comunidades o los distritos? En general, conviene elegir la uni- 
dad de intervención factible más pequeña dentro de las limitaciones 
Operativas. 


Cómo las reglas operativas de un programa 
pueden contribuir a elegir un método de 
evaluación de impacto 


Uno de los principales mensajes de este libro es que se pueden usar las 
reglas operativas de un programa para encontrar grupos de comparación 
válidos, en la medida en que las reglas operativas del programa estén bien 
definidas. De hecho, dichas reglas brindan orientación en cuanto al método 
más adecuado para evaluar ese programa concreto. Las reglas operativas del 
programa son las que pueden y deben regir en el método de evaluación, no a 
la inversa. La evaluación no debería cambiar drásticamente elementos clave 
de las reglas de asignación del programa bien definidas en aras de un diseño 
de evaluación más claro. 

Las reglas operativas más pertinentes para el diseño de la evaluación son 
aquellas que identifican quiénes son elegibles para el programa y cómo se 
seleccionan para que participen. Los grupos de comparación provienen de 
aquellos sujetos elegibles pero que no pueden incorporarse al programa en 
un determinado momento (por ejemplo, cuando los recursos son limitados 
y hay exceso de demanda), o de aquellos que se encuentran cerca de un 
umbral de elegibilidad para participar en el programa. 


Principios de las reglas de asignación al programa bien definidas 


Al diseñar las evaluaciones de impacto, siempre se pueden encontrar grupos 
de comparación válidos si las reglas operativas para seleccionar a los 
beneficiarios son equitativas, transparentes y están sujetas a rendición de 
cuentas: 


e Las reglas equitativas de asignación al programa clasifican o priorizan la 
elegibilidad en función de un indicador de las necesidades acordado 
comúnmente, o estipulan que a todos se les ofrezcan los beneficios del 
programa, o que al menos tengan iguales posibilidades de que les ofrez- 
can los beneficios. 


La evaluación de impacto en la práctica 


e Las reglas de asignación al programa se divulgan y son transparentes, de 
modo que las partes externas las acepten implícitamente y puedan com- 
probar que en efecto hay un seguimiento. Las reglas transparentes debe- 
rían ser cuantificables y fácilmente observables. 


e Las reglas sujetas a rendición de cuentas son responsabilidad de los fun- 
cionarios del programa y su implementación es la base del desempeño en 
el trabajo o de las recompensas de esos funcionarios. 


Las reglas operativas de elegibilidad son transparentes y están sujetas 
a rendición de cuentas cuando los programas utilizan criterios cuantifi- 
cables que pueden ser verificados por organizaciones externas y cuando 
hacen públicos dichos criterios. La equidad, la transparencia y la rendi- 
ción de cuentas aseguran que los criterios de elegibilidad sean verifica- 
bles cuantitativamente y estén realmente implementados según su 
diseño. Como tales, estos principios de buena gobernanza mejoran la 
probabilidad de que el programa realmente beneficie a la población foca- 
lizada y también constituyen la clave de una evaluación exitosa. Si las 
reglas no son cuantificables y verificables, el equipo de evaluación tendrá 
dificultades para asegurar que la asignación a los grupos de tratamiento 
y comparación se produzca siguiendo el diseño o, como mínimo, docu- 
mentando cómo sucedió en la práctica. Si los miembros del equipo de 
evaluación no pueden verificar la asignación en la práctica, no pueden 
analizar correctamente los datos para calcular los impactos. Entender 
las reglas de asignación del programa es fundamental para seleccionar 
un método de evaluación adecuado. 

Cuando las reglas operativas incumplen cualquiera de estos tres prin- 
cipios de buena gobernanza, surgen dificultades tanto para crear un pro- 
grama bien diseñado como para llevar a cabo la evaluación. Es difícil 
encontrar grupos de comparación válidos si las reglas que determinan la 
elegibilidad y la selección de los beneficiarios no son equitativas ni trans- 
parentes, ni están sujetas a rendición de cuentas. En este caso, el diseño 
de una evaluación de impacto puede requerir aclaraciones y ajustes en el 
funcionamiento del programa. Sin embargo, si las reglas están bien defi- 
nidas, el método de evaluación de impacto se puede elegir sobre la base 
de las reglas existentes de asignación del programa, como se explica a 
continuación con más detalle. 


Reglas operativas clave 


Las reglas operativas suelen definir cuáles son los beneficios del programa, 
cómo se financian y se distribuyen estos beneficios y de qué modo el 
programa selecciona a los beneficiarios. Las reglas que gobiernan 
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los programas y la selección de los beneficiarios son clave para encontrar 
grupos de comparación válidos. Las reglas que gobiernan la selección de los 
beneficiarios comprenden la elegibilidad, las reglas de asignación en el caso 
de recursos limitados y el orden de incorporación de los beneficiarios a lo 
largo del tiempo. Más especificamente, las reglas clave que generan una hoja 
de ruta para encontrar grupos de comparación corresponden a tres pregun- 
tas operativas fundamentales en relación con los recursos de los que dis- 
pone un programa, los criterios de elegibilidad y el calendario de la 
implementación: 


1. Recursos disponibles: ¿El programa tiene suficientes recursos para imple- 
mentarse a escala y atender a todos los beneficiarios elegibles? Los 
gobiernos y las organizaciones no gubernamentales (ONG) no siempre 
tienen suficientes recursos para proporcionar los servicios del programa 
atodos los que son elegibles y se postulan a los programas. En ese caso, el 
gobierno u ONG debe decidir cuáles son los postulantes elegibles que 
recibirán los beneficios del programa y cuáles quedarán excluidos. En 
muchas ocasiones, los programas se limitan a regiones geográficas espe- 
cificas o a un número restringido de comunidades, aun cuando pueda 
haber beneficiarios elegibles en otras regiones o comunidades. 


2. Criterios de elegibilidad: ¿Quién es elegible para recibir los beneficios del 
programa? ¿La asignación del programa se basa en un umbral de elegibi- 
lidad, o está disponible para todos? Las escuelas públicas y la atención 
primaria de salud suelen ser de carácter universal. Muchos programas 
utilizan reglas operativas de elegibilidad que dependen de una clasifica- 
ción continua y un umbral definido. Por ejemplo, los sistemas de jubila- 
ción establecen una edad límite por encima de la cual las personas de 
edad avanzada son elegibles. Los programas de transferencias condicio- 
nadas suelen clasificar a los hogares a partir de su nivel estimado de 
pobreza y los hogares por debajo de un umbral de pobreza predetermi- 
nado se consideran elegibles. 


3. Calendario de implementación: ¿Los beneficiarios potenciales se inscri- 
ben en el programa todos al mismo tiempo o por fases? A menudo, las 
limitaciones administrativas y de recursos impiden que los gobiernos y 
las ONG proporcionen beneficios de forma inmediata a toda la población 
elegible. Deben implementar sus programas a lo largo del tiempo y, por lo 
tanto, decidir quién es objeto de los beneficios primero y quién se incor- 
pora más tarde. Un enfoque común consiste en ampliar un programa en 
fases geográficamente, a lo largo del tiempo, incorporando a todos los 
beneficiarios elegibles en una comunidad o región antes de pasar a la 
siguiente. 


La evaluación de impacto en la práctica 


Creación de grupos de comparación a partir de las 


reglas operativas 


Al diseñar evaluaciones de impacto prospectivas, la respuesta a las tres pre- 
guntas operativas determina en gran parte el método de evaluación de 
impacto más adecuado para un cierto programa. El cuadro 11.1 recoge los 


Cuadro 11.1 


evaluación de impacto 


Relación entre las reglas operativas de un programa y los métodos de 


Exceso de demanda del programa No exceso de demanda del programa 
(recursos limitados) (recursos suficientes) 
(1) (2) (3) (4) 
Criterios de Índice continuo y | Sin índice continuo | Índice continuo | Sin indice continuo y 
elegibilidad umbral de y umbral de y umbral de umbral de 
elegibilidad elegibilidad elegibilidad elegibilidad 
(A) Celda A1 Celda A2 Celda A3 Celda A4 
Implemen- Asignación Asignación Asignación Asignación aleatoria 
tación en aleatoria (capítulo 4) | aleatoria (capítulo 4) | aleatoria en en fases (capítulo 4) 
5 fases DRD (capítulo 6) Variables instru- fases (capítulo 4) | Variables instrumen- 
Ë mentales (promo- | DRD (capítulo 6) | tales (promoción 
F ción aleatoria) aleatoria para 
E (capítulo 5) participación 
= DD (capítulo 7) temprana) 
Ë (capítulo 5) 
lo DD con parea- : 
as] miento (capitulo 8) DD (capitulo 7) 
2 DD con pareamiento 
© 4 
E (capítulo 8) 
z (B) Celda B1 Celda B2 Celda B3 Celda B4 
= Implemen- Asignación Asignación DRD (capítulo 6) | Si participación no es 
tación aleatoria (capítulo 4) | aleatoria plena: 
inmediata DRD (capítulo 6) | (capítulo 4) Variables instrumen- 
Variables instru- tales (promoción 
mentales (promo- aleatoria) (capítulo 5) 
ción aleatoria) DD (capítulo 7) 
(capítulo 5) . 
DD con pareamiento 
DD (capítulo 7) y 
(capítulo8) 
DD con parea- 
miento (capítulo 8) 


Nota: DD = diferencias en diferencias; DRD = diseño de regresión discontinua. 


Elección de un método de evaluación de impacto 


211 


212 


posibles grupos de comparación en relación con las reglas operativas espe- 
cificas del programa y las tres preguntas operativas fundamentales relacio- 
nadas con los recursos disponibles, las reglas de elegibilidad y el calendario 
de implementación. Las columnas se dividen en función de si el programa 
tiene o no recursos suficientes para eventualmente cubrir a todos los bene- 
ficiarios elegibles potenciales (recursos disponibles) y, además, se subdividen 
en programas que tienen un ranking y un límite de elegibilidad continuos y 
aquellos que no los tienen (criterios de elegibilidad). Las filas se dividen en 
implementación en fases o implementación inmediata del programa (calen- 
dario de implementación). En cada celda se recogen las fuentes potenciales 
de grupos de comparación válidos, junto con el capítulo relacionado en que 
se trata en la segunda parte. Cada celda tiene un rótulo con un índice: la letra 
inicial señala la columna en el cuadro (A, B) y el número que sigue indica la 
columna (1-4). Por ejemplo, la celda Al se refiere a la celda de la primera fila 
y la primera columna del cuadro. Asi, la celda Al identifica los métodos de 
evaluación más adecuados para los programas que tienen recursos limita- 
dos, que tienen criterios de elegibilidad y se desarrollan en fases. 

La mayoría de los programas debe implementarse en fases a lo largo del 
tiempo debido ya sea a limitaciones financieras o a problemas logísticos y 
administrativos. Este grupo o categoría cubre la primera fila del cuadro (cel- 
das Al, A2, A3 y A4). En este caso, la regla operativa equitativa, transparente 
y sujeta a rendición de cuentas consiste en dar a todas las unidades elegibles 
la misma oportunidad de ser la primera, segunda, tercera, etc. en acceder al 
programa, lo que implica una implementación aleatoria del programa a lo 
largo del tiempo. 

En los casos en que los recursos son limitados, es decir, en los que nunca 
habrá suficientes recursos para alcanzar la plena implementación (celdas Al 
y A2, y Bly B2), puede producirse muy rápidamente un exceso de demanda 
de aquellos recursos. Un sorteo para decidir quién entra en el programa 
puede ser un enfoque viable para decidir a quién asignar beneficios entre 
unidades igualmente elegibles. En este caso, cada unidad elegible tiene la 
misma oportunidad de beneficiarse del programa. Un sorteo es un ejemplo 
de regla operativa equitativa, transparente y sujeta a rendición de cuentas 
para asignar los beneficios del programa entre las unidades elegibles. 

Otro tipo de programas comprende a los que se implementan a lo largo 
del tiempo y para los que los administradores pueden clasificar los benefi- 
ciarios potenciales en función de la necesidad (celdas Al y A3). Si los crite- 
rios utilizados para priorizar a los beneficiarios son cuantitativos, están 
disponibles y tienen un umbral de elegibilidad, el programa puede usar un 
diseño de regresión discontinua. 

La otra categoría amplia consiste en programas que tienen la capacidad 
administrativa para implementarse inmediatamente: es decir, las celdas en 
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la fila inferior del cuadro. Cuando el programa tiene recursos limitados y no 
es capaz de clasificar a los beneficiarios (celda B2), podría utilizarse la asig- 
nación aleatoria basada en el exceso de demanda. Si el programa tiene sufi- 
cientes recursos para ampliarse y ningún criterio de elegibilidad (celda B4), 
la única solución es utilizar variables instrumentales (promoción aleatoria) 
bajo el supuesto de participación no plena en el programa. Si el programa 
puede clasificar a los beneficiarios y depende de criterios de elegibilidad, se 
puede recurrir a la regresión discontinua. 


Priorización de los beneficiarios 


Las tres preguntas operativas clave guardan relación con el tema fundamen- 
tal de cómo se seleccionan los beneficiarios, lo cual es crucial para encontrar 
grupos de comparación válidos. En ocasiones, los grupos de comparación se 
hallan entre las poblaciones no elegibles, y con mayor frecuencia entre las 
poblaciones que son elegibles pero que se incorporan al programa más 
tarde. La manera de priorizar entre los beneficiarios depende en parte de los 
objetivos del programa ¿Se trata de un programa de jubilaciones para las 
personas de edad avanzada, un programa de alivio de la pobreza focalizado 
en los pobres o un programa de inmunización disponible para todos? 

Para priorizar entre los beneficiarios sobre la base de la necesidad, el pro- 
grama debe encontrar un indicador que sea a la vez cuantificable y verifica- 
ble. En la práctica, la viabilidad de la priorización depende en gran parte de 
la capacidad del gobierno para medir y clasificar las necesidades. Si el 
gobierno puede clasificar adecuadamente a los beneficiarios en función de 
sus necesidades relativas, puede que esté éticamente obligado a implemen- 
tar el programa de acuerdo con las necesidades. Sin embargo, clasificar en 
función de la necesidad requiere no solo una medida cuantificable sino tam- 
bién la capacidad y los recursos para medir ese indicador para cada unidad 
que participa en el programa. 

Algunos programas utilizan criterios de selección que, en principio, 
podrían usarse para clasificar necesidades relativas y determinar la elegibili- 
dad. Por ejemplo, numerosos programas quieren llegar a las personas pobres. 
Sin embargo, los indicadores de pobreza adecuados que clasifican a los hoga- 
res de manera fiable a menudo son difíciles de medir y costosos de recopilar. 
La recopilación de datos de los ingresos o del consumo de todos los benefi- 
ciarios potenciales para clasificarlos según el nivel de pobreza es un proceso 
complejo y oneroso que, además, sería difícil de verificar. Al contrario, 
muchos programas utilizan algún tipo de proxy mean test para estimar los 
niveles de pobreza. Se trata de indices de medidas observables sencillas 
como los activos y las características sociodemográficas (Grosh et al., 2008). 
Los proxy mean tests pueden ayudar a determinar razonablemente bien si un 
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hogar se sitúa por encima o por debajo de un umbral, pero pueden ser menos 
precisos en una clasificación detallada de la situación socioeconómica o de 
las necesidades. 

En lugar de enfrentarse al costo y a la complejidad de clasificar a los 
potenciales beneficiarios individuales, numerosos programas han decidido 
clasificar en un nivel superior de agregación, como el nivel de la comunidad. 
Determinar la asignación del programa a un nivel agregado tiene beneficios 
operativos evidentes, pero a menudo es difícil encontrar indicadores para 
producir una clasificación de las necesidades en un nivel más agregado. 

En los casos en que un programa no puede asignar beneficios de manera 
fiable sobre la base de la necesidad, ya sea porque no hay indicadores de 
clasificación cuantificables y verificables, o porque es demasiado caro y pro- 
penso a errores, se tienen que usar otros criterios para decidir cómo secuen- 
ciar la implementación del programa. Un criterio coherente con la buena 
gobernanza es la equidad. Una regla equitativa sería dar a todos aquellos que 
son elegibles la misma oportunidad de ser el primero en tener acceso, y asig- 
nar de forma aleatoria un lugar en la secuencia a los beneficiarios potencia- 
les. En la práctica, dadas las dificultades para clasificar las necesidades, una 
regla de asignación al programa que suele usarse es la asignación aleatoria 
de los beneficios del programa. También produce un diseño de evaluación 
aleatoria que puede proveer buena validez interna si se implementa bien, y 
puede depender de supuestos más débiles en comparación con los otros 
métodos, como se trata en la sección siguiente. 


Una comparación de métodos de evaluación de 
impacto 


Después de estimar qué método de evaluación de impacto es adecuado para 
las reglas operativas específicas del programa, el equipo de evaluación 
puede elegir el método que tiene el supuesto más débil y los menores requi- 
sitos de datos. El cuadro 11.2 presenta una comparación de los métodos de 
evaluación de impacto alternativos en términos de los requisitos de datos 
para implementarlos y los supuestos fundamentales necesarios para inter- 
pretar sus resultados como impactos causales de la intervención. Cada fila 
representa un método diferente. Las primeras dos columnas describen los 
métodos y las unidades en el grupo de comparación. Las dos últimas colum- 
nas recogen los supuestos necesarios para interpretar los resultados como 
causales, y los datos necesarios para implementar los métodos. 

Todos los métodos requieren supuestos, es decir, para ser capaces de 
interpretar resultados como causales se debe creer que son verdad ciertos 
hechos que no siempre se pueden verificar empíricamente. En particular, 
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para cada método, un supuesto clave es que la media del grupo de compara- 
ción de la que depende el método sea una estimación válida del contrafac- 
tual. En cada uno de los capítulos sobre los métodos, que se presentan en la 
segunda parte de este volumen, se han expuesto algunas consideraciones 
sobre cómo probar si un método es válido en un contexto particular. Algunos 
métodos dependen de supuestos más fuertes que otros. 

Ceteris paribus, el método preferido es el que mejor se adecua al contexto 
operativo y el que requiere los supuestos más débiles y la menor cantidad de 
datos. Estos criterios explican por qué los investigadores consideran la asig- 
nación aleatoria la regla de oro, y por qué a menudo es el método preferido. 
La asignación aleatoria se adecua a numerosos contextos operativos y tiende 
a generar estimaciones de impacto internamente válidas con los supuestos 
más débiles. Cuando se implementa de manera adecuada, genera compara- 
bilidad entre los grupos de tratamiento y comparación en características 
observables y no observables. Además, la asignación aleatoria tiende a 
requerir muestras más pequeñas que las necesarias para implementar méto- 
dos cuasi-experimentales (véase el debate en el capítulo 15). Dado que la 
asignación aleatoria es relativamente intuitiva, el método también facilita la 
comunicación de resultados a los responsables de las políticas. 

Puede que los métodos cuasi-experimentales sean más adecuados en 
algunos contextos operativos, pero requieren más supuestos con el fin de 
que el grupo de comparación provea una estimación válida del contrafac- 
tual. Por ejemplo, el método de diferencias en diferencias depende del 
supuesto de que los cambios en los resultados en el grupo de comparación 
proporcionen una estimación válida del cambio del contrafactual en los 
resultados del grupo de tratamiento. Este supuesto de que los resultados en 
los grupos de tratamiento y comparación evolucionan paralelamente a lo 
largo del tiempo no es siempre posible de probar sin múltiples rondas de 
datos antes de la intervención. La regresión discontinua depende de la com- 
parabilidad de las unidades justo por encima y justo por debajo del umbral 
de elegibilidad. El pareamiento tiene los supuestos más fuertes de todos los 
métodos, y esencialmente descarta cualquier característica no observable 
entre los participantes del programa y los no participantes. En general, 
cuanto más fuertes sean los supuestos, mayor será el riesgo de que no se 
cumplan en la práctica. 


Un plan de respaldo para la evaluación 


Aveces las cosas no salen exactamente como estaban planificadas, incluso 
con el mejor diseño de evaluación de impacto y las mejores intenciones. 
Por ejemplo, en un programa de capacitación laboral, la agencia ejecu- 
tora planeó seleccionar a los participantes de forma aleatoria entre el 
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conjunto de postulantes, sobre la base del exceso de solicitudes previsto 
en el programa. Dado que el desempleo entre la población focalizada era 
alto, se anticipó que el número de postulantes al programa de capacita- 
ción laboral sería mucho mayor que el número de plazas disponibles. 
Desafortunadamente, la publicidad para el programa no fue tan efectiva 
como se esperaba y, al final, el número de postulantes se situó justo por 
debajo del número de plazas de capacitación disponibles. Sin un exceso 
de solicitudes del cual extraer un grupo de comparación, y sin plan de 
respaldo, el intento inicial para evaluar el programa tuvo que dejarse de 
lado por completo. Este tipo de situación es habitual, como sucede con 
los cambios no anticipados en el contexto operativo o político de un pro- 
grama. Por lo tanto, es útil tener un plan de respaldo en caso de que la 
primera opción de metodología no funcione. 

Planificar el uso de varios métodos de evaluación de impacto también es 
una buena práctica desde un punto de vista metodológico. Si se plantean 
dudas acerca de si uno de los métodos puede tener sesgos, se podrán verifi- 
car los resultados comparándolos con el otro método. Cuando se imple- 
menta un programa mediante asignación aleatoria en fases, el grupo de 
comparación se incorporará eventualmente al programa. Aquello limita el 
tiempo durante el cual el grupo de comparación está disponible para la eva- 
luación. Sin embargo, si además del diseño de asignación aleatoria también 
se implementa un diseño de promoción aleatoria, habrá un grupo de compa- 
ración disponible para toda la duración del programa. Antes de que se incor- 
pore el grupo final de la implementación, existirán dos grupos de 
comparación alternativos (de la asignación aleatoria y de la promoción alea- 
toria) aunque en el plazo más largo solo quedará el grupo de comparación 
de la promoción aleatoria. 


Cómo encontrar la unidad de intervención más 
pequeña factible 


En general, las reglas operativas también determinan el nivel en que se 
puede asignar una intervención, algo que se relaciona con la manera en que 
se implementa el programa. Por ejemplo, si se pone en marcha un programa 
de salud a nivel de distrito, todas las comunidades del distrito o recibirían el 
programa (como grupo) o no lo recibirían. Algunos programas se pueden 
implementar de manera eficiente a nivel individual o de los hogares, mien- 
tras que otros deben aplicarse a nivel de la comunidad o a un nivel adminis- 
trativo superior. Incluso si un programa se puede asignar e implementar a 
nivel individual, el equipo de evaluación quizá prefiera un nivel superior de 
agregación con el fin de mitigar los efectos potenciales de derrame; es decir, 
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los efectos indirectos de las unidades que participan en las unidades que no 
participan (véase una descripción en el capítulo 9). 

Implementar una intervención a un mayor nivel puede ser problemático 
para la evaluación, por dos motivos. En primer lugar, las evaluaciones de las 
intervenciones asignadas e implementadas a niveles superiores, como la comu- 
nidad o el distrito administrativo, requieren tamaños de muestra más grandes 
y serán más costosas, en comparación con las evaluaciones de intervenciones a 
un nivel más bajo, como el nivel individual o de los hogares. El nivel de inter- 
vención es importante porque define la unidad de asignación a los grupos de 
tratamiento y comparación, y eso tiene implicaciones para el tamaño de la 
muestra de la evaluación y su costo. En las intervenciones implementadas a 
niveles superiores, se necesita una muestra más grande para poder detectar el 
impacto del programa. La idea que subyace a esto se abordará en el capítulo 15, 
donde se analiza cómo determinar el tamaño de la muestra requerido para una 
evaluación, y cómo la implementación a niveles más altos crea clusters (conglo- 
merados) que incrementan el tamaño requerido de la muestra. 

En segundo lugar, a niveles superiores de intervención, es más difícil 
encontrar un número suficiente de unidades para realizar la evaluación. Sin 
embargo, la asignación aleatoria solo genera grupos de tratamiento y compa- 
ración comparables si se lleva a cabo con un número suficiente de unidades. 
Por ejemplo, si el nivel de agregación es el de la provincia y el país solo tiene 
seis provincias, es poco probable que la aleatorización genere equilibrio 
entre los grupos de tratamiento y comparación. En este caso, imaginese que 
el diseño de la evaluación asigna tres provincias al grupo de tratamiento y 
otras tres al grupo de comparación. Es muy poco probable que las provincias 
del grupo de tratamiento sean similares a las del grupo de comparación, 
incluso si en cada provincia hay un número grande de hogares. Esto es por- 
que la clave para equilibrar los grupos de tratamiento y comparación es el 
número de unidades asignadas a los grupos de tratamiento y comparación, 
no el número de individuos o de hogares de la muestra. Por lo tanto, llevar a 
cabo una asignación aleatoria en niveles altos de implementación pone en 
riesgo la validez interna si el número de unidades no es suficiente. 

Para evitar los riesgos asociados con la implementación de la intervención 
en un nivel geográfico administrativo alto, el equipo de evaluación y los admi- 
nistradores del programa tienen que trabajar juntos para encontrar la unidad 
de intervención más pequeña que sea operacionalmente factible. Diversos 
factores determinan la unidad de intervención más pequeña factible: 


e Las economias de escala y la complejidad administrativa en la implemen- 
tación del programa. 


e La capacidad administrativa para asignar beneficios a nivel individual o 
de los hogares. 
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e Preocupaciones potenciales a propósito de posibles tensiones. 


e Preocupaciones potenciales acerca de los efectos de derrame y la conta- 
minación del grupo de comparación. 


La unidad factible de intervención más pequeña suele depender de las 
economías de escala y de la complejidad administrativa de realizar el pro- 
grama. Por ejemplo, un programa de seguro de salud quizá requiera una ofi- 
cina local para que los beneficiarios presenten reclamos y para pagar a los 
proveedores. Los costos fijos de la oficina tienen que repartirse entre un gran 
número de beneficiarios, de modo que puede ser ineficiente implementar el 
programa a nivel individual y más eficiente si se hace a nivel de la comunidad. 
Sin embargo, en situaciones con tipos de intervenciones nuevas y no proba- 
das, puede que merezca la pena absorber las ineficiencias de corto plazo e 
implementar el programa en los distritos administrativos, para asegurar la 
credibilidad de la evaluación y disminuir los costos de la recopilación de datos. 

Algunos administradores de programas sostienen que los programas 
administrados a nivel local, como los programas de seguro de salud, no tie- 
nen las capacidades administrativas para implementar programas a nivel 
individual. Su preocupación es que sería una carga crear sistemas para pres- 
tar diferentes beneficios a diferentes beneficiarios en unidades administra- 
tivas locales, y que acaso resulte difícil garantizar que la asignación a los 
grupos de tratamiento y comparación se implemente siguiendo el diseño. 
Este último problema es una seria amenaza para una evaluación de impacto, 
dado que los administradores del programa quizá no puedan poner en mar- 
cha el programa de forma consistente siguiendo un diseño de evaluación. En 
este caso, puede que sea necesaria una implementación a un nivel superior 
o una simplificación del diseño de evaluación de impacto. 

En ocasiones los gobiernos prefieren implementar programas a niveles 
más agregados, como el de la comunidad, porque les preocupan las tensio- 
nes potenciales que surgen cuando los miembros de los grupos de compara- 
ción observan que los vecinos en el grupo de tratamiento tienen derecho a 
los beneficios. Numerosos programas se han llevado a cabo con éxito a nivel 
individual o de los hogares en las comunidades sin generar tensiones, sobre 
todo cuando los beneficios se han asignado de manera equitativa, transpa- 
rente y sujetos a rendición de cuentas. Aun así, tendría que tenerse en cuenta 
el riesgo de que puedan surgir tensiones en el contexto de una evaluación de 
impacto específica. 

Por último, cuando se asigna un programa y se implementa a nivel muy 
bajo, como en los hogares o a nivel individual, la contaminación del grupo de 
comparación puede poner en entredicho la validez interna de la evaluación. 
Por ejemplo, imagínese que se evalúa el efecto de proporcionar agua 
corriente en la salud de los hogares. Si se instalan grifos de agua para un 
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Recuadro 11.1: Programas de transferencias monetarias 
condicionadas y el nivel mínimo de intervención 


La mayoría de las transferencias monetarias 
condicionadas utiliza a las comunidades 
como el nivel o la unidad de intervención por 
motivos administrativos y de diseño de 
programa, y debido a preocupaciones acerca 
de los efectos de derrame y de posibles 
tensiones en la comunidad si el tratamiento 
se asignara a un nivel más bajo. 

Por ejemplo, la evaluación del programa 
de transferencias monetarias condicionadas 
Progresa-Oportunidades de México dependía 
de la implementación del programa a 
nivel comunitario en las zonas rurales para 
asignar de forma aleatoria las comunidades 
a los grupos de tratamiento y comparación. 
A todos los hogares elegibles de las 
comunidades de tratamiento se les ofreció la 
oportunidad de inscribirse en el programa en 
la primavera de 1998, y a todos los hogares 


elegibles de las comunidades de comparación 
se les ofreció la misma oportunidad 18 meses 
más tarde, en el invierno de 1999. Sin 
embargo, el equipo de evaluación encontró 
una correlación considerable en los resultados 
entre los hogares de las propias comunidades. 
Por lo tanto, para generar suficiente potencia 
estadística para la evaluación, necesitaban 
más hogares en la muestra de lo que habría 
sido necesario si hubieran sido capaces de 
asignar los hogares individuales a los grupos 
de tratamiento y de comparación. Por lo 
tanto, la imposibilidad de implementar el 
programa a nivel de los hogares generó 
requisitos de tamaños más grandes de la 
muestra y aumentó el costo de la evaluación. 
Otras dificultades similares afectan a muchos 
de los programas en el sector de desarrollo 
humano. 


Fuentes: Behrman y Hoddinott (2001); Skoufias y McClafferty (2001). 


hogar pero no para su vecino, el hogar de tratamiento bien puede compartir 
el uso del grifo con un vecino de comparación y, por lo tanto, el hogar vecino 
no sería una verdadera comparación, dado que se beneficiaria del efecto de 
derrame. 

El recuadro 11.1 ilustra las implicaciones de la selección de un nivel de 
intervención en el contexto de las transferencias condicionadas. En la prác- 
tica, los administradores de programa tienen que optar por la unidad facti- 
ble de intervención más pequeña que (1) permita contar con un gran número 
de unidades en la evaluación, (2) mitigue los riesgos para la validez interna, 
y (3) se ajuste al contexto operativo. 


Otros recursos 


e Para material de apoyo relacionado con el libro y para hipervínculos con más 
recursos, se recomienda consultar el sitio web de la Evaluación de Impacto en 
la Práctica (http: //www.worldbank.org/ieinpractice). 
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CAPÍTULO 12 


Gestion de una evaluación 
de impacto 


Gestión del equipo, del tiempo y del presupuesto 
de una evaluación 


Una evaluación es una alianza entre un equipo de políticas públicas y un 
equipo de investigación. Cada grupo depende del otro para el éxito de la 
evaluación. Juntos, constituyen el equipo de evaluación. La alianza se basa 
en la comprensión de los roles y responsabilidades respectivas de ambos 
equipos, un compromiso conjunto con la evaluación y un reconocimiento de 
lo que motiva a las personas a trabajar en la evaluación. Una alianza efectiva 
es fundamental para asegurar la credibilidad técnica y el impacto de una 
evaluación en las políticas públicas. 

En este capítulo se describen los elementos de una alianza efectiva, lo 
cual incluye los roles y responsabilidades de cada equipo. También se ana- 
liza cómo funciona la alianza en diferentes etapas del proceso de evaluación 
y se describen los modelos alternativos de colaboración. El capítulo también 
aborda cuestiones prácticas de calendario y presupuesto. 
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Roles y responsabilidades de los equipos de 
investigación y de políticas públicas 


El equipo de investigación: función de la investigación y función 
de los datos 


El equipo de investigación es responsable de la calidad técnica y la integri- 
dad científica del trabajo de evaluación. Sus responsabilidades abarcan el 
diseño de la investigación, la calidad de los datos y el análisis. Los equipos de 
investigación suelen trabajar con las siguientes personas: 


e El investigador principal trabaja con los responsables de las políticas y los 
encargados del programa para: establecer objetivos clave, cuestiones de 
políticas, indicadores y necesidades de información de la evaluación 
(a menudo utilizando una teoría del cambio, como una cadena de resulta- 
dos); decidir cuál es la metodología de evaluación de impacto; desarrollar 
el plan de evaluación; conformar el equipo de investigación; registrar la 
evaluación de impacto, obtener aprobaciones de la junta de revisión insti- 
tucional; preparar un plan de evaluación, incluido un plan detallado de 
preanálisis; dirigir el análisis de los resultados; y colaborar con el equipo 
de políticas públicas para divulgar los resultados. El investigador princi- 
pal debe poder trabajar efectivamente con todo el equipo de evaluación, 
incluyendo la organización encargada de la recopilación de datos, otros 
miembros del equipo de investigación y los responsables de las políticas 
públicas o encargados del programa que utilizan los datos y los resultados 
de la evaluación. Diversos investigadores pueden trabajar con el investi- 
gador principal o como co-investigadores principales para liderar o apo- 
yar trabajos analíticos específicos de los elementos, como el muestreo, las 
evaluaciones cualitativas o el análisis de costo-efectividad. 


e Un gestor de la evaluación o coordinador del trabajo de campo, que trabaja 
directamente con el investigador principal en la implementación diaria de 
la evaluación. Esto significa trabajar con los encargados del programa y los 
responsables de las políticas públicas en el equipo de políticas públicas y 
supervisar el trabajo de campo cuando se recopilan los datos primarios. 
Esta persona es particularmente importante en aquellos casos en que el 
investigador principal carece de una base local, donde se aplica una eva- 
luación prospectiva que debe ser coordinada estrechamente con la imple- 
mentación del programa o allí donde se recopilan los datos primarios. 


e Un experto en muestreo, que orienta el trabajo de cálculo de potencia y 
muestreo. En el tipo de evaluación de impacto cuantitativa que trata este 
libro, el experto en muestreo debe llevar a cabo cálculos de potencia para 
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determinar el tamaño adecuado de la muestra según los indicadores esta- 
blecidos, seleccionar la muestra, comparar los resultados de la muestra 
real con los de la muestra diseñada, y ofrecer recomendaciones sobre las 
implicancias para el análisis en coincidencia con el plan de preanálisis. 
El investigador principal a menudo lleva a cabo estas funciones directa- 
mente o junto con el experto en muestreo. 


e Un equipo de recopilación de datos, que es el encargado de elaborar los 
instrumentos de recopilación de datos y los manuales y libros de código 
correspondientes; debe recopilar, digitar y limpiar los datos, y entregar 
una base de datos limpia y documentada cuando se requiera una recopi- 
lación de datos primarios. El capítulo 16 aborda las fuentes de los datos y 
los diversos aspectos de la recopilación de los mismos. 


El equipo de políticas públicas: función de políticas y función de 
gestión del programa 


El equipo de políticas públicas está formado por responsables de políticas y 
encargados del programa: 


e Los responsables de las políticas establecen la agenda de investigación, 
definen la pregunta fundamental que aborda el estudio, aseguran los 
recursos adecuados para el trabajo, y aplican los resultados a las políticas. 
Al comienzo de la evaluación, deben articular con claridad los objetivos 
tanto del programa como de la evaluación, así como la teoría del cambio 
y los principales indicadores de interés, lo que incluye el tamaño del 
efecto mínimo relevante para las políticas de los indicadores de resultado 
de interés, como se detalla en el capítulo 2. El equipo de políticas públicas 
tiene conocimiento del diálogo de políticas y de los contactos con las 
principales partes interesadas con el fin de asegurar que la evaluación se 
diseñe para ser lo más relevante posible para las políticas, y para garanti- 
zar que los interesados y los responsables de la toma de decisiones ade- 
cuados participen en momentos clave del proceso de evaluación. 


e Los encargados del programa trabajan mano a mano con el equipo de 
investigación para alinear el diseño de evaluación con la implementación 
del programa. Esto incluye verificar que el diseño de evaluación se base 
en información precisa de la operación del programa y comprometerse a 
implementar el programa según lo planificado, en el caso de las evalua- 
ciones prospectivas. Los encargados del programa en el equipo de politi- 
cas públicas también suelen gestionar el presupuesto de evaluación y a 
menudo ayudan al equipo de investigación a supervisar el trabajo de 
campo en la recopilación de datos. 
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Concepto clave 


Una alianza efectiva 
entre el equipo de 
políticas públicas y el 
equipo de investigación 
es crucial para asegurar 
la credibilidad técnica y 
el impacto de una 
evaluación en las 
políticas. 
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¿A quién le importa la evaluación y por qué? 


Desde la perspectiva del equipo de políticas públicas, normalmente el 
principal interés es saber si el programa o la reforma son efectivos o no, y 
a qué costo se alcanzaron los resultados. Los encargados locales del pro- 
grama tendrán interés en asegurar que sus esfuerzos sean valorados y que 
se les otorgue crédito y visibilidad por su trabajo. Emprender una evalua- 
ción de impacto significa un esfuerzo considerable de una amplia gama de 
partes interesadas, a menudo más allá de los límites de sus responsabilida- 
des diarias. Una buena manera de apreciar estas contribuciones consiste 
en asegurar que los equipos locales participen activamente en la gama 
más amplia de actividades de evaluación. Esto se puede conseguir cele- 
brando talleres conjuntos, así como también elaborando publicaciones 
conjuntas, garantizando la capacitación y el desarrollo de capacidades, y 
consiguiendo investigadores locales bien situados para que contribuyan 
de manera adecuada y sirvan como un canal válido entre los equipos de 
investigación y de políticas. 

Las evaluaciones tienen valor en términos de bien público cuando 
fundamentan una pregunta de interés más allá del interés inmediato del 
equipo de políticas. Este aspecto suele encerrar un interés primario para 
los investigadores que analizan preguntas relacionadas con una teoría 
del cambio. Por ejemplo, los resultados sobre cómo se comportan las 
personas en ciertas circunstancias o cómo funcionan los canales de 
transmisión para que los impactos se materialicen permiten extraer lec- 
ciones de orden más general y aplicarlas en diferentes contextos. Las 
evaluaciones de impacto están contribuyendo rápidamente a una base 
de evidencia global sobre el desempeño de una gama de reformas de pro- 
gramas y políticas, y constituyen repositorios de conocimientos suma- 
mente relevantes para el diseño de programas y políticas. A los donantes 
y a los institutos relacionados con las políticas a menudo les interesa 
este valor más amplio de bien público, y cada vez prestan más apoyo 
financiero para llevar a cabo evaluaciones que contribuyan a esta base de 
evidencia. 

Los investigadores también estarán muy comprometidos con el uso de 
una metodología de evaluación robusta y defendible, y tendrán que asegu- 
rar su participación en el diseño de la evaluación de impacto, en el análisis 
de los datos y en generar investigación primaria que cumpla con las nor- 
mas científicas vigentes en las publicaciones académicas. Los equipos de 
investigación interdisciplinaria tienen el reto añadido de asegurar que 
exista un entendimiento común entre los miembros del equipo. Diferentes 
disciplinas, como la medicina y la economía, pueden tener distintos enfo- 
ques para registrar los ensayos, reclutar a los sujetos, informar sobre los 
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resultados o divulgarlos, entre otras cosas. Estas expectativas diversas se 
aclaran y se entienden mejor al comienzo de una evaluación. Al margen de 
los diferentes protocolos, se espera que los equipos de investigación sigan 
normas científicas y principios éticos generalmente aceptados, como se 
trata en el capítulo 13. 

Los diferentes intereses del equipo de políticas y del equipo de investi- 
gación pueden crear tensiones que hay que entender y gestionar. Los 
investigadores tenderán a valorar el rigor técnico en el diseño de una eva- 
luación antes que la viabilidad operativa de la implementación del pro- 
grama. Puede que a los equipos también les interesen distintas preguntas 
de la evaluación. Por último, puede que ninguno de los dos equipos tenga 
interés en publicar resultados matizados o negativos, dado que esto 
podría reflejarse negativamente en el desempeño del programa para el 
equipo de políticas públicas y podría tener menos interés académico para 
el equipo de investigación. Puede que al equipo de políticas también le 
interese ser selectivo a propósito de qué resultados publicar, mientras 
que el equipo de investigación valorará la capacidad de publicar toda la 
gama de resultados. 

En el conjunto del equipo de evaluación, es crucial promover una cul- 
tura de transparencia y de respeto por la evidencia. A los responsables de 
las políticas públicas y a los administradores del programa se les debería 
recompensar por su compromiso con la formulación de políticas basadas 
en la evidencia. Incluso cuando los resultados no sean favorables, se 
debería dar crédito a estos actores por haber abogado por la transparen- 
cia. De la misma manera, se debería alentar al equipo de investigación a 
informar sobre los resultados y publicarlos, independientemente de los 
hallazgos. 


La alianza entre el equipo de investigación y el equipo de políticas 
públicas durante la evaluación 


La calidad técnica y el impacto de la evaluación en las políticas públicas 
dependen de una activa alianza entre el equipo de investigación y el 
equipo de políticas en cada etapa de la evaluación, a saber: diseño, imple- 
mentación, análisis y divulgación. El recuadro 12.1 resume algunos princi- 
pios rectores. 

Etapa de diseño. En primer lugar, los responsables de las políticas tienen 
que estructurar y transmitir con claridad las principales preguntas de la 
investigación, la correspondiente teoría del cambio y los indicadores clave 
de interés, así como también asegurar que el equipo de investigación com- 
prenda de forma adecuada estos elementos y los respete. Para asegurar la 
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Recuadro 12.1: Principios rectores de la participación de los 
equipos de políticas públicas y de evaluación 


Participar desde el comienzo para maximizar las opciones del diseño de la evaluación y 
asegurar una asociación efectiva entre los equipos de políticas públicas y de evaluación. 
Tener claro un plan de evaluación de impacto desde el comienzo. 

Comprender los roles, responsabilidades y motivaciones de las diferentes partes intere- 
sadas y darles la oportunidad de participar en la evaluación. 

Participar a lo largo de la evaluación para asegurar una alineación adecuada entre la evalu- 
ación y la intervención que se evalúa. 

Reconocer y gestionar los riesgos y beneficios, dejando claro qué pueden y no pueden 
hacer las evaluaciones de impacto. 

Valorar la transparencia y asegurar la objetividad; estar preparados para respetar los resul- 
tados, sean buenos o malos. 


relevancia de las políticas, el equipo de políticas públicas también tiene que 
estructurar una estrategia de participación que garantice que se consulte y se 
informe a las partes interesadas acerca del diseño, de la implementación y de 
los resultados de la evaluación. Por su parte, los investigadores tienen que 
aclarar, para el equipo de políticas públicas, las condiciones necesarias para 
una buena evaluación de impacto. En el caso de las evaluaciones prospecti- 
vas, esto significará, primero, verificar con los encargados del programa y los 
responsables de las políticas del equipo de políticas públicas que las opera- 
ciones del programa estén lo suficientemente bien establecidas para asegu- 
rar que el programa que se evalúa no cambiará sustancialmente durante la 
evaluación y, por lo tanto, no volverá irrelevantes los resultados de los objeti- 
vos de políticas. El momento ideal para llevar a cabo una evaluación de 
impacto suele ser aquel en el que un programa ha sido sometido a suficientes 
pruebas de campo como para afirmar que funciona de la manera prevista -lo 
cual puede fundamentarse en una buena evaluación de proceso-, pero que 
no ha sido ampliado, por lo que deja abiertas las opciones para construir con- 
trafactuales adecuados. 

En segundo lugar, el equipo de investigación tiene que entender con cla- 
ridad las reglas operativas del programa, a saber: sus recursos disponibles, 
sus criterios de elegibilidad para seleccionar a los beneficiarios y el calenda- 
rio de implementación. El equipo de políticas públicas debería trasmitir cla- 
ramente estas tres reglas operativas al equipo de investigación, dado que son 
cruciales para fundamentar las opciones metodológicas disponibles en la 
evaluación, como se detalla en el capítulo 11. 
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En tercer lugar, el equipo de investigación debería preparar un plan 
de evaluación de impacto que contenga a la vez aspectos operativos y de 
la investigación, y debería compartirlo con los responsables de las poli- 
ticas para asegurar que la evaluación se centre en las preguntas de inte- 
rés; que los elementos de colaboración con el equipo de políticas estén 
definidos, y que el equipo de evaluación sea claro y sencillo acerca de las 
preguntas que se formulan, y de la naturaleza y del calendario de resul- 
tados (véase el recuadro 12.2). También es útil tomar en cuenta los ries- 
gos y las estrategias de mitigación propuestas. Por último, el equipo de 
investigación debería obtener la aprobación ética de una junta de 


Recuadro 12.2: Descripción general de un plan de evaluación 
de impacto 
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revisión institucional e inscribir la evaluación en un registro de ensayos 
(véase el capítulo 13). 

Este diálogo durante la etapa de diseño debería arrojar como resultado 
un compromiso claro y compartido con un plan de evaluación, y con 
expectativas realistas y responsabilidades mutuamente acordadas de los 
miembros de los equipos de políticas públicas y de investigación. Este 
diálogo brinda una oportunidad para que el equipo de investigación 
aclare tanto el valor de una evaluación de impacto -sobre todo el estable- 
cimiento de la causalidad y el carácter generalizable de las conclusiones- 
como sus limitaciones, por ejemplo: no presentar explicaciones de por 
qué se obtienen ciertos resultados, el trade-off entre el tamaño de la 
muestra y los cálculos de potencia, o el tiempo requerido para generar 
ciertos resultados. Este diálogo también proporcionará una oportunidad 
para que el equipo de políticas especifique preguntas prioritarias y para 
asegurar que la evaluación esté bien alineada con las preguntas de interés 
de las políticas públicas. 

Etapa de implementación. Los equipos de políticas públicas y de investi- 
gación tienen que trabajar juntos para asegurar que la implementación pro- 
ceda fluidamente y se corrijan los problemas. Por ejemplo, en un ensayo 
controlado aleatorio, el equipo tiene que acordar la mejor manera de aleato- 
rizar en la práctica. Además, durante esta etapa, la coordinación es especial- 
mente importante para garantizar la fidelidad entre el diseño de evaluación 
y la implementación del programa. 

Etapa de análisis. El análisis que se lleve a cabo debe corresponderse con 
lo que ha sido delineado en el plan de evaluación y en el más detallado plan 
de preanálisis. El equipo de investigación debería proporcionar y debatir 
los resultados con el equipo de políticas públicas en coyunturas clave. 
Empezando por la línea de base, esto debería incluir una revisión de la cali- 
dad de los datos recopilados y la adhesión al plan de evaluación. Esto con- 
tribuirá a asegurar que el plan de evaluación previsto en la etapa de diseño 
siga siendo factible y permita cualquier ajuste necesario que deba introdu- 
cirse. También es una excelente oportunidad para estudiar qué productos 
se entregarán en qué etapa del análisis y para ver si la producción de esos 
resultados progresa adecuadamente con respecto a las necesidades de 
toma de decisiones del equipo de políticas públicas. Una vez que el equipo 
de evaluación ha concluido el análisis de impacto, debería presentar y com- 
partir los resultados iniciales con el equipo de políticas para asegurar que 
se responda a todas las preguntas y preparar la etapa de divulgación. 

Etapa de divulgación. En esta etapa, el equipo de políticas públicas tiene 
que asegurar que los resultados de la evaluación lleguen a las personas ade- 
cuadas en el momento adecuado y en el formato adecuado. También es la 
etapa en que se garantiza que todos los datos de la evaluación estén 
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documentados de forma apropiada. A menudo, los equipos utilizarán diversas 
estrategias y vehículos para divulgar los resultados, teniendo presentes los 
diferentes públicos a los que se dirige, como se señala en el capítulo 14. 


Establecer una colaboración 


Cómo instituir una alianza 


Una evaluación es un equilibrio entre los conocimientos técnicos expertos y 
la independencia que aporta el equipo de investigación, y la relevancia de las 
políticas, la orientación estratégica y la coordinación operativa con las que 
contribuyen los responsables de las políticas y los encargados del programa 
en el equipo de políticas públicas. Se puede utilizar una gama de modelos 
para crear e implementar esta alianza entre los equipos de investigación y 
de políticas públicas. 

La elección de la modalidad dependerá del contexto y de los objetivos de la 
evaluación de impacto, teniendo en cuenta una gama de riesgos. Por un lado, 
un equipo de investigación totalmente independiente, en colaboración limi- 
tada con el equipo de políticas públicas, puede generar una evaluación de 
impacto desvinculada de las preguntas de interés de políticas, o que use una 
metodología limitada por la falta de interacciones con los encargados del pro- 
grama. Por otro lado, un equipo de investigación plenamente integrado con el 
equipo de políticas públicas puede crear riesgos de conflictos de interés, o con- 
ducir a la censura de ciertos resultados si no se aplican los principios de la cien- 
cia abierta (véase el capítulo 13). Además, las evaluaciones a menudo pueden 
tener múltiples objetivos, entre ellos construir capacidad de evaluación con los 
organismos del gobierno o sensibilizar a los operadores del programa ante las 
realidades de sus proyectos al llevarse a cabo en el terreno. Estos objetivos más 
amplios también pueden determinar parcialmente el modelo que se elegirá. 

En general, lo que más importa en la calidad de la evaluación de impacto es 
si el enfoque de asociación producirá estimaciones no sesgadas de los impac- 
tos del programa. Siempre que se respeten los principios éticos de la investiga- 
ción y la ciencia abierta, la ausencia de sesgo y la objetividad tienden a ser más 
cruciales para la calidad de la evaluación de impacto que la independencia 
funcional de los equipos de investigación y de políticas. En la práctica, a 
menudo se requiere una estrecha colaboración entre ambos para asegurar la 
elaboración de una estrategia de evaluación de impacto de la más alta calidad. 


El modelo de externalización 
Para los encargados del programa, siempre atareados gestionando operacio- 
nes complejas, a menudo es atractivo contar con un equipo externo encargado 
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de diseñar e implementar la evaluación de impacto. Los modelos de externali- 
zación pueden adoptar diferentes formas. Los administradores de programa a 
veces intentan externalizar el diseño de la evaluación de impacto, así como la 
realización de diversas encuestas (normalmente, una encuesta de línea de 
base y de seguimiento) con una sola entidad en el marco de un contrato amplio. 
En otros casos, los administradores de programa primero externalizan el 
diseño y siguen con contratos de diversas fases de la recopilación y del análisis 
de datos. 

La externalización separa en cierta medida el diseño de la implementa- 
ción de la evaluación de impacto, por lo cual una evaluación se puede consi- 
derar más independiente. Sin embargo, externalizar totalmente la evaluación 
de impacto puede implicar riesgos considerables. Establecer este tipo de 
relación contractual puede limitar la colaboración entre los equipos de 
implementación y de investigación (o la entidad contratada para llevar a 
cabo la evaluación de impacto) del programa. 

En algunos casos, se entrega al equipo contratado un conjunto de pará- 
metros del programa previamente definidos, con escaso margen para deba- 
tir sobre los planes de diseño y de implementación, o sobre el alcance, para 
dar forma a la investigación. En otros casos, puede que no estén definidas las 
reglas del programa y las modalidades de implementación necesarias para 
diseñar una buena evaluación de impacto. En esos casos, el equipo contra- 
tado encargado de dicha evaluación tiene una influencia limitada para ase- 
gurar que se definan estos elementos. 

En otros casos, puede que el programa ya haya sido diseñado o que la 
implementación haya comenzado, lo cual puede limitar seriamente las 
opciones metodológicas de la evaluación. A menudo se pide al equipo con- 
tratado que se ajuste ex post a cambios en la implementación del programa, 
sin participar estrechamente ni recibir información durante la implementa- 
ción. Estas situaciones pueden conducir a diseños de evaluación subóptimos 
o a dificultades durante la implementación, dado que el equipo contratado 
puede tener motivaciones diferentes de las de los investigadores y los res- 
ponsables de las políticas que han dirigido el diseño de la evaluación. 

Por último, la selección y supervisión del equipo contratado puede ser 
problemática para la unidad de implementación del programa. Se deben 
tener en cuenta atentamente y desde el comienzo las reglas de adquisiciones 
para asegurar que la externalización sea eficiente y que no presente conflic- 
tos de interés. Ciertas reglas pueden limitar la posibilidad de que un equipo 
que ha sido contratado para contribuir al diseño de una evaluación de 
impacto pueda más tarde presentar una oferta para ejecutarla. 

Para mitigar estos riesgos, normalmente es preferible que el equipo de 
políticas públicas ya tenga hecho un diseño de evaluación de impacto, que 
incluya una estrategia de identificación, indicadores de resultados clave, 


La evaluación de impacto en la práctica 


cálculos de potencia iniciales y tamaños aproximados de la muestra. Esto 
contribuirá a orientar las adquisiciones y la contratación, dado que dichos 
elementos influyen claramente en los presupuestos de la evaluación. El 
equipo de políticas públicas también debería establecer mecanismos para 
asegurar una supervisión técnica sólida del diseño y de la ejecución de la 
evaluación de impacto. Esto podría realizarse a través de un comité de super- 
visión o mediante una revisión técnica y científica regular de los productos 
de la evaluación. En su conjunto, estas medidas de mitigación señalan que es 
probable que el modelo más efectivo no sea totalmente externalizado. 


El modelo de alianza 

La colaboración entre los equipos de investigación y de políticas públicas no 
se basa única ni necesariamente en relaciones contractuales. Se pueden 
establecer alianzas mutuamente beneficiosas cuando los investigadores tie- 
nen interés en llevar a cabo investigaciones sobre una pregunta de políticas, 
y cuando los responsables de políticas y los encargados del programa procu- 
ran asegurar que su proyecto cuente con una evaluación de impacto de 
buena calidad. Los investigadores tienen incentivos para abordar nuevas 
preguntas que se añadirán a la base de evidencia global, y para ampliar el 
alcance de la evaluación de impacto y contribuir a que sea más visible. El 
equipo de investigación puede movilizar parte del financiamiento para la 
evaluación de impacto si los objetivos de los financiadores están estrecha- 
mente alineados con el objeto de investigación de la evaluación. 

Otro tipo de modelo integrado que está adquiriendo más relevancia, 
sobre todo en las instituciones más grandes, como el Banco Mundial y el 
Banco Interamericano de Desarrollo (BID), utiliza una capacidad de inves- 
tigación de evaluación de impacto interna para apoyar a los equipos de polí- 
ticas públicas y del programa. 

No obstante, el enfoque de la alianza presenta ciertos riesgos. En deter- 
minados momentos, puede que los investigadores procuren incorporar ele- 
mentos novedosos en la investigación de la evaluación de impacto que quizá 
no estén totalmente alineados con los objetivos inmediatos de las políticas a 
nivel local, aunque puedan añadir valor en términos más globales. Por su 
parte, los responsables de las políticas y los encargados del programa quizá 
no siempre sepan apreciar el rigor científico necesario para emprender eva- 
luaciones de impacto rigurosas, y quizá tengan una mayor tolerancia que el 
equipo de investigación alos riesgos potenciales de la evaluación de impacto. 

Para mitigar esos riesgos, los objetivos del equipo de investigación y de 
los equipos de políticas públicas deben estar estrechamente alineados. 
Por ejemplo, ambos equipos pueden trabajar juntos en un plan de evalua- 
ción exhaustivo, definiendo una estrategia detallada, así como los roles y 
responsabilidades de los respectivos equipos (véase el recuadro 12.2). 
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El plan de evaluación de impacto también es una instancia para resaltar 
reglas operativas clave, así como los riesgos operativos potenciales para 
implementar la evaluación de impacto. 

Un compromiso mutuo con una evaluación de impacto recogido en un 
plan de evaluación claro es esencial para que la alianza funcione fluida- 
mente, aun en ausencia de una relación contractual. Corresponde a las bue- 
nas prácticas que este compromiso mutuo adopte la forma de un acuerdo 
por escrito -por ejemplo, bajo la forma de términos de referencia o un 
memorando de entendimiento- para establecer los roles, responsabilidades 
y productos de la evaluación de impacto. Estos aspectos también se pueden 
incluir en el plan de evaluación de impacto. 


El modelo plenamente integrado 
Algunas evaluaciones de impacto se implementan en un modelo plena- 
mente integrado donde los equipos de investigación y de implementación 
del programa son el mismo, y son responsables tanto de la investigación 
como de las funciones del programa. Los investigadores a veces adoptan 
este enfoque en los ensayos de eficacia, donde se prueban nuevas interven- 
ciones para la prueba de concepto. En este caso, los investigadores general- 
mente prefieren mantener el control de la implementación para asegurar 
que el programa se ponga en marcha siguiendo el diseño original lo más 
estrechamente posible. Si bien los resultados de estas evaluaciones de 
impacto tienen la mayor capacidad para probar las teorías fundamentales y 
para establecer si una determinada intervención puede funcionar en cir- 
cunstancias ideales, el riesgo de este enfoque es que los resultados pueden 
tener una validez externa limitada. 

El recuadro 12.3 presenta algunos ejemplos de diferentes modelos que 
los equipos de investigación y de políticas públicas pueden utilizar para 
colaborar. 
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Recuadro 12.3: Ejemplos de modelos de equipos de investigación 


y de políticas públicas 


Externalización de evaluaciones en la 
Millenium Challenge Corporation 

La Millenium Challenge Corporation (MCC) 
es una agencia de asistencia de Estados 
Unidos, creada en 2004, con un fuerte énfa- 
sis en la rendición de cuentas y los resulta- 
dos. Requiere que cada uno de sus programas 


de desarrollo tenga un plan integral de moni- 
toreo y evaluación, centrándose en las evalua- 
ciones independientes y no sesgadas. Esta 
focalización llevó a la MCC a desarrollar un 
modelo en el cual tanto el diseño como la 
implementación de las evaluaciones están 
totalmente externalizados con investigadores 


Continúa en la página siguiente. 
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Recuadro 12.3: Ejemplos de modelos de equipos de investigación y de políticas públicas (continúa) 


externos. Durante los primeros años de ope- 
raciones de la MCC, en ocasiones la separa- 
ción entre el equipo del programa y los 
investigadores externos contratados para la 
evaluación creó problemas. Por ejemplo, en 
Honduras, los investigadores diseñaron un 
ensayo controlado aleatorio de un programa 
de capacitación agrícola. Sin embargo, dado 
que el contrato de implementación se basaba 
en el desempeño, el implementador tenía un 
fuerte incentivo para encontrar agricultores 
con un alto desempeño para el programa. Los 
agricultores elegibles no fueron asignados de 
forma aleatoria al programa, lo que invalida el 
diseño de evaluación. Con la divulgación de 
las primeras cinco evaluaciones de los progra- 
mas de capacitación agrícola, la MCC 
reflexionó sobre las experiencias como esta y 
llegó a la conclusión de que la colaboración 
entre los implementadores y los evaluadores 
es crucial a lo largo del diseño y de la imple- 
mentación. La organización adaptó su modelo 
para que sea más selectivo al aplicar las eva- 
luaciones de impacto con el fin de encontrar 
un equilibrio entre la rendición de cuentas y el 
aprendizaje. 


La integración en Innovations for Poverty 
Action 

En Innovations for Poverty Action (IPA), una 
organización sin fines de lucro de Estados 
Unidos, los equipos de investigación y de 
políticas públicas trabajan juntos desde el 
comienzo del diseño de la evaluación, y a 
menudo desde el momento en que se gesta 
el programa. El modelo de IPA cuenta con 
una amplia red de oficinas en el terreno, 
muchas de las cuales están en contacto con 
organismos del gobierno y otros socios. 
Desde el momento en que una evaluación 
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se concibe, los investigadores afiliados a 
IPA, provenientes de una red global de uni- 
versidades, trabajan con los directores de 
país en las representaciones relevantes para 
crear un diseño de evaluación y un plan de 
implementación. Los directores de país son 
los encargados de gestionar las relaciones 
entre los socios y emparejar a los principales 
investigadores del equipo de investigación 
con los socios del programa en el equipo de 
políticas públicas para desarrollar una pro- 
puesta para una evaluación. Una vez apro- 
bada una propuesta, contratan al personal 
de gestión del proyecto para dirigir la recopi- 
lación de datos en el terreno, todos traba- 
jando en la oficina local de IPA. La 
coordinación entre los investigadores y los 
encargados del programa suele ser estre- 
cha, y en algunos casos las oficinas de IPA 
también son responsables de implementar 
la intervención que está siendo evaluada. 


Modelos mixtos en el Banco Mundial 

En la última década, el Banco Mundial ha 
ampliado rápidamente el uso de las evalua- 
ciones de impacto prospectivas para esti- 
mar los impactos de algunos de los 
proyectos de desarrollo que financia. Varios 
grupos -entre ellos Development Impact 
Evaluation (DIME), Strategic Impact 
Evaluation Fund (SIEF) y Gender Innovation 
Lab (GIL)- proporcionan financiamiento y 
apoyo técnico a las evaluaciones de impacto. 
Cuando se implementa un proyecto particu- 
larmente innovador o donde hay grandes 
intereses en juego, se definen las activida- 
des de evaluación de impacto, ya sea incor- 
poradas en el proyecto y gestionadas por los 
gobiernos contrapartes o como actividades 
independientes manejadas por el Banco 
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Mundial. Se crea un equipo de evaluación 
que consiste en un grupo de investigación, 
el cual abarca una combinación de expertos 
técnicos y académicos, y un equipo de polí- 
ticas públicas, que normalmente incluye a 
los responsables de las políticas públicas, 
los encargados del programa y los jefes de 
equipo operativos del proyecto. 

Por ejemplo, en Costa de Marfil, una inicia- 
tiva conjunta del Banco Mundial, JPAL y el 
gobierno evaluó un proyecto de empleo y 
desarrollo de capacidades para jóvenes. Para 
ello, se creó un equipo de evaluación que 
comprendía un equipo de investigación com- 
puesto por un jefe de equipo del Banco 
Mundial, académicos internacionales y exper- 
tos locales, y un equipo de políticas públicas 
que incluía a especialistas de la unidad de 
implementación del proyecto, el ministerio 
asociado y el personal del Banco Mundial. 


El equipo de evaluación identificó los ámbitos 
de prioridad de la evaluación de impacto. Se 
creó un ensayo controlado aleatorio prospec- 
tivo. El gobierno elaboró preguntas clave y 
financió la recopilación de datos, en parte con- 
tratada con el École Nationale Supérieure de 
Statistique et d'Économie Appliquée (ENSEA), 
y en parte llevado a cabo internamente por un 
equipo especializado en recopilación de datos. 
El Banco Mundial financiaba las actividades 
de supervisión técnica e investigación, y diri- 
gía el equipo de evaluación. JPAL contribuía a 
través de los académicos afiliados. Este 
modelo ha demostrado ser efectivo para ase- 
gurar el rigor científico y la relevancia global, 
así como la alineación con las prioridades de 
los responsables de las políticas. Requiere 
una gestión rigurosa de las asociaciones y una 
coordinación efectiva entre las diversas partes 
interesadas en el equipo de evaluación. 


Fuentes: Bertrand et al. (2015); IPA (2014); Sturdy, Aquino y Molyneaux (2014). 


Elección de un equipo de investigación como socio 


Los responsables de las políticas y los encargados del programa también tienen 
que decidir con quién asociarse. Las preguntas clave son si el equipo de inves- 
tigación -o partes del mismo- puede ser un equipo local, y qué tipo de ayuda 
externa se requerirá. La capacidad de investigación varía en gran medida de un 
país a otro. A menudo se contrata a las empresas internacionales cuando se 
requieren habilidades concretas, y también pueden asociarse con empresas 
locales. Las funciones de recopilación de datos generalmente son gestionadas 
por estas últimas, debido a su profundo conocimiento del contexto y del 
entorno local. También hay una marcada tendencia mundial a asegurar la 
plena participación de los investigadores locales en la evaluación de impacto. 
A medida que aumenta la capacidad de evaluación, es más habitual que 
los gobiernos, las empresas privadas y las instituciones multilaterales imple- 
menten evaluaciones de impacto en asociación con equipos de investigación 
locales. La participación de los investigadores locales puede aportar un valor 
fundamental a la evaluación de impacto gracias a su conocimiento 
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del contexto local. En algunos países, la autorización de la investigación se 
concede solo a los equipos que incluyen a investigadores locales. En general, 
el administrador de la evaluación es el que evalúa la capacidad local y deter- 
mina quién será responsable de qué aspectos del trabajo de evaluación. Las 
redes académicas internacionales de evaluación de impacto (como JPAL o 
IPA), las empresas privadas de investigación o grupos de evaluación de 
impacto de instituciones internacionales (como DIME y SIEF en el Banco 
Mundial; o SPD o RES en el BID) pueden ayudar a los equipos de políticas 
públicas a tomar contacto con investigadores internacionales que tengan los 
conocimientos técnicos expertos para colaborar en la evaluación de impacto. 

Otra pregunta es si trabajar con una empresa privada o con un organismo 
público. Las empresas privadas o los institutos de investigación pueden ser 
más fiables para proporcionar resultados de manera oportuna pero, una vez 
que se ha firmado un contrato, las empresas privadas a menudo están menos 
dispuestas a incorporar en la evaluación elementos que podrán encarecerla. 
El equipo de investigación también puede trabajar con instituciones de inves- 
tigación y universidades, cuya reputación y conocimientos técnicos expertos 
garantizan que las partes interesadas aceptarán los resultados de la evalua- 
ción. Sin embargo, en ocasiones esas instituciones carecen de la experiencia 
operativa o de la capacidad para ejecutar ciertos aspectos de la evaluación, 
como la recopilación de datos. Por lo tanto, puede que sea necesario subcon- 
tratar algunos aspectos con otro socio. El desarrollo de capacidades en el sec- 
tor público también puede ser un objetivo y se puede incluir como parte de 
los términos de referencia de la evaluación de impacto. Cualquiera sea la 
combinación de contrapartes a la que finalmente se llegue, será esencial efec- 
tuar un análisis sólido de las actividades de evaluación de los colaboradores 
potenciales en el pasado para tomar una decisión bien fundamentada. 

Particularmente, cuando se trabaja con un organismo público con múlti- 
ples responsabilidades, la capacidad y disponibilidad de un equipo de inves- 
tigación interno para emprender las actividades de evaluación de impacto 
tienen que ser estimadas a la luz de otras actividades por las que deben ren- 
dir cuentas. Es importante tener conciencia de la carga de trabajo para valo- 
rar no solo cómo influirá en la calidad de la evaluación que se lleve a cabo, 
sino también en el costo de oportunidad de la evaluación con respecto a 
otras iniciativas de las cuales es responsable el organismo público. 


Cómo programar una evaluación en el tiempo 


En la primera parte de este volumen se analizaron las ventajas de las evalua- 
ciones prospectivas, diseñadas durante la elaboración del programa. Una 
planificación previa permite una elección más amplia para generar grupos 
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de comparación, facilita la recopilación de datos de línea de base y ayuda a 
las partes interesadas a alcanzar un consenso a propósito de los objetivos del 
programa y de las preguntas de interés. 

Aunque es importante planificar las evaluaciones de forma temprana en 
la etapa de diseño del proyecto, debería programarse su ejecución para eva- 
luar el programa una vez que alcance la madurez para ser estable. Los pro- 
yectos piloto o las reformas incipientes suelen sufrir revisiones, tanto en 
términos de su contenido como con respecto a cuándo, dónde y por quién 
serán implementados. Los proveedores del programa necesitarán tiempo 
para aprender y aplicar de manera consistente las nuevas reglas operativas. 
Dado que las evaluaciones requieren reglas operativas del programa que 
sean claras para generar contrafactuales adecuados, es importante ejecutar- 
las cuando los programas estén bien establecidos. 

Otro aspecto clave de la programación en el tiempo es cuánto tiempo se 
requiere antes de que los resultados se puedan medir. El equilibrio adecuado 
depende en gran parte del contexto: “Si evaluamos demasiado temprano, 
existe el riesgo de encontrar un impacto parcial o nulo; si evaluamos dema- 
siado tarde, existe el riesgo de que el programa pierda el apoyo de los donan- 
tes y del público o de que se amplíe un programa mal diseñado” (King y 
Behrman, 2009:56).? Para determinar cuándo recopilar los datos de segui- 
miento, debe tenerse en cuenta una gama de factores que se describen a 
continuación. 

El ciclo del programa, que incluye la duración del programa, el tiempo de 
implementación y los retrasos potenciales. La evaluación de impacto debe 
ajustarse al ciclo de implementación del programa; la evaluación no puede 
impulsar el programa que se evalúa. Por su propia naturaleza, las evaluacio- 
nes están sujetas a los plazos del programa y deben alinearse con su dura- 
ción prevista. También deben adaptarse a los posibles desfases en la 
implementación cuando los programas tardan en asignar beneficios o se 
retrasan debido a factores externos.* En general, a pesar de que la programa- 
ción en el tiempo de la evaluación debería incluirse en el proyecto desde el 
comienzo, los evaluadores deberían estar dispuestos a ser flexibles e intro- 
ducir modificaciones a medida que se ejecuta el proyecto. Además, deberían 
adoptarse provisiones para dar seguimiento a las intervenciones, utilizando 
un sistema de monitoreo de modo que el trabajo de evaluación se funda- 
mente en el progreso real de la intervención. 

El tiempo previsto necesario para que el programa influya en los resultados, 
así como la naturaleza de los resultados de interés. La programación de la reco- 
pilación de los datos de seguimiento debe tener en cuenta cuánto tiempo se 
requiere después de que se ejecute el programa para que los resultados se 
manifiesten. La cadena de resultados del programa ayuda a identificar los 
indicadores de resultados y el momento adecuado para medirlos. Algunos 
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programas (como los de apoyo al ingreso) procuran proporcionar beneficios 
a corto plazo, mientras que otros (como los de educación básica) procuran 
tener objetivos a más largo plazo. Además, por su propia naturaleza, ciertos 
resultados tardan más en manifestarse (como los cambios en la esperanza de 
vida o la fertilidad a partir de una reforma del sistema de salud) que otros 
(como los ingresos provenientes de un programa de capacitación). 

Por ejemplo, en la evaluación del Fondo de Inversión Social de Bolivia, 
que contaba con datos de línea de base recopilados en 1993, los datos de 
seguimiento no fueron recopilados hasta 1998 debido al tiempo que se 
requería para llevar a cabo las intervenciones (proyectos de agua y sanea- 
miento, centros de salud y escuelas) y para que se manifestaran los efectos 
en la salud y la educación de la población beneficiaria (Newman et al., 
2002). Fue preciso un plazo similar para la evaluación de un proyecto de 
educación primaria en Pakistán, que utilizó un diseño experimental con 
encuestas de línea de base y de seguimiento para estimar el impacto de las 
escuelas comunitarias en los resultados de los alumnos, lo que incluía los 
logros académicos (King, Orazem y Paterno, 2008). Sin embargo, los datos 
de seguimiento suelen recopilarse antes de lo que sería recomendable, 
debido a las presiones para obtener resultados de manera oportuna o por 
limitaciones del presupuesto y del ciclo del proyecto (McEwan, 2014). 

Por lo tanto, la recopilación de datos de seguimiento dependerá del pro- 
grama bajo estudio, así como también de los indicadores de resultados de 
interés. 

Los datos de seguimiento se pueden recopilar más de una vez, de modo 
que se puedan tener en cuenta y se puedan contrastar los resultados de corto 
y mediano plazo. Los datos de seguimiento recogidos durante la implemen- 
tación del programa quizá no capturen el pleno impacto del mismo si los 
indicadores se miden demasiado temprano. Aun así, es muy útil documentar 
los impactos de corto plazo, que también pueden proporcionar información 
acerca de los resultados previstos a más largo plazo, útiles para producir 
resultados tempranos de la evaluación de impacto, que pueden estimular el 
diálogo entre los equipos de investigación y de políticas públicas, y mante- 
ner el contacto con la muestra de evaluación de modo de reducir el desgaste 
de la muestra a lo largo del tiempo. 

Las encuestas de seguimiento que miden los resultados de largo plazo 
después de implementar el programa a menudo producen la evidencia más 
convincente en lo que se refiere a la efectividad del programa. Por ejemplo, 
los resultados positivos de las evaluaciones de impacto a largo plazo de los 
programas de desarrollo infantil temprano (DIT) en Estados Unidos (Currie, 
2001; Currie y Thomas, 1995, 2000) y Jamaica (Grantham-McGregor et al., 
1994; Gertler et al., 2014) han influido en favor de invertir en intervenciones 
en la primera infancia. 
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En ocasiones, los impactos de largo plazo son objetivos explícitos del 
programa, pero puede que incluso un diseño sólido de evaluación de impacto 
no pueda resistir al paso del tiempo. Por ejemplo, las unidades del grupo de 
control pueden comenzar a verse favorecidas por los efectos de derrame de 
los beneficiarios del programa. 

Los equipos pueden recolectar datos de seguimiento más de una vez, de 
modo que se pueden considerar y contrastar los resultados de corto, mediano 
y largo plazo. 

Ciclos de elaboración de políticas. La programación de una evaluación 
también debe tener en cuenta cuándo se requiere cierta información para 
fundamentar las decisiones de políticas y debe sincronizar las actividades 
de evaluación y de recopilación de datos con momentos clave en la toma de 
decisiones. La producción de resultados debería programarse para funda- 
mentar los presupuestos, la ampliación del programa u otras decisiones de 
políticas. 


Cómo elaborar un presupuesto para una 
evaluación 


El presupuesto constituye uno de los últimos pasos para hacer operativo 
el diseño de la evaluación. En esta sección, se analizan algunos datos 
sobre el costo de una evaluación de impacto, se debate cómo elaborar un 
presupuesto para una evaluación y se sugieren algunas opciones de 
financiamiento. 


Análisis de los datos de costos 


Los cuadros 12.1 y 12.2 proporcionan referencias útiles sobre los costos aso- 
ciados con la realización de evaluaciones de impacto rigurosas. Contienen 
datos sobre los costos de las evaluaciones de impacto de diversos proyectos 
realizados con el apoyo del Fondo Estratégico para la Evaluación de Impacto 
(SIEF, por sus siglas en inglés), administrado por el Banco Mundial. La 
muestra del cuadro 12.1 proviene de un estudio exhaustivo de programas 
que reciben el respaldo de los grupos de investigación sobre DIT y educa- 
ción en SIEF. La muestra del cuadro 12.2 se seleccionó en función de la dis- 
ponibilidad de estadísticas actuales sobre presupuestos del conjunto de 
evaluaciones de impacto financiadas por SIEF* 

Los costos directos de las actividades de la evaluación analizados en las 
muestras que se presentan en los cuadros 12.1y 12.2 oscilan entre US$130.000 
y US$2,78 millones, con un costo promedio cercano a US$1 millón. Aunque 
estos costos varían en gran medida y pueden parecer elevados en términos 
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Cuadro 12.1 Costo de las evaluaciones de impacto de una selección de proyectos con apoyo del 


Banco Mundial 


Costos de la 
Costo total El como 
de la porcentaje 
evaluación de Costo total del del total de 
impacto programa? los costos del 

Evaluación de impacto (El) País (US$) (US$) programa 
Proyecto de redes de protección Burkina Faso 750.000 38.800.000 1,9 
Desarrollo de destrezas y empleo China 220.000 50.000.000 0,4 
para migrantes 
Proyecto de protección social Colombia 130.000 86.400.000 0,2 
Plan piloto de nutrición integrada/ Yibuti 480.000 5.000.000 8,8 
sistema de seguridad social 
asistencial 
Programa de inversión en sectores República 600.000 19.400.000 3,1 
sociales Dominicana 
Incentivos para los maestros Guinea 2.055.000 39.670.000 4,9 
basados en el desempeño 
Protección social Jamaica 800.000 40.000.000 2,0 
Tratamiento de la desnutrición Madagascar 651.000 10.000.000 6,1 
crónica 
Centros de cuidado del niño Malawi 955.000 1.500.000 38,9 
basados en la comunidad (piloto) 
Información y transferencias Nepal 984.000 40.000.000 2,4 
monetarias no condicionadas 
Asistencia técnica en redes de Pakistán 2.000.000 60.000.000 3,3 
protección social 
Proyecto de protección social Panamá 1.000.000 24.000.000 4,2 
Primer proyecto de niveles de vida Ruanda 1.000.000 11.000.000 9,1 
comunitarios 
Intervenciones en información Tanzania 712.000 416.000.000 0,2 
para la rendición de cuentas e 
incentivos para los profesores 
Intervenciones en el tamaño dela Uganda 639.000 100.000.000 0,6 
clase y calidad de los profesores 
Fondo social para el desarrollo 3 Rep. Yemen 2.000.000 15.000.000 13,3 
Promedio 936.000 59.798.000 6,2 


Fuente: Una muestra de evaluaciones de impacto financiadas por los grupos de investigación sobre desarrollo infantil temprano (DIT) 


y educación del Fondo Estratégico para la Evaluación de Impacto del Banco Mundial (SIEF). 


El = evaluación de impacto. 


a. Los costos totales del programa no incluyen los costos asociados con la evaluación de impacto. 
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Concepto clave 


Las evaluaciones de 
impacto suelen 
constituir solo un 
pequeño porcentaje de 
los presupuestos 
generales del 
programa. Además, el 
costo de llevar a cabo 
una evaluación de 
impacto debe 
compararse con los 
costos de oportunidad 
de no efectuar una 
evaluación rigurosa y, 
por lo tanto, de 
implementar 
potencialmente un 


programa inefectivo. 
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absolutos, las evaluaciones de impacto suelen constituir solo un pequeño 
porcentaje de los presupuestos generales del programa. Además, el costo de 
llevar a cabo una evaluación de impacto debe compararse con los costos de 
oportunidad de no efectuar una evaluación rigurosa y, por lo tanto, de imple- 
mentar potencialmente un programa inefectivo. Las evaluaciones permiten 
alos investigadores y a los responsables de las políticas identificar qué pro- 
gramas o características del programa funcionan, cuáles no funcionan y qué 
estrategias pueden ser las más efectivas y eficientes para alcanzar los objeti- 
vos del programa. En este sentido, los recursos necesarios para implementar 
una evaluación de impacto constituyen una inversión relativamente 
pequeña pero importante. 

El cuadro 12.2 desagrega los costos de la muestra de evaluaciones de 
impacto financiadas por el SIEF. Los costos totales de una evaluación inclu- 
yen el tiempo del personal del Banco Mundial, los consultores nacionales e 
internacionales, los viajes, la recopilación de datos y las actividades de 
divulgación." En estas evaluaciones, como en casi todas en las que no se pue- 
den usar los datos existentes, el costo más importante corresponde ala reco- 
pilación de nuevos datos, que equivale, en promedio, al 63% del costo de la 
evaluación, como se muestra en el cuadro. 

Estas cifras reflejan diferentes tamaños y tipos de evaluaciones. El costo 
relativo de la evaluación de un programa piloto suele ser superior al costo 
relativo de la evaluación de un programa a nivel nacional o universal. 
Además, algunas evaluaciones solo requieren una encuesta de seguimiento 
o pueden usar las fuentes de datos existentes, mientras que otras necesitan 
llevar a cabo múltiples rondas de recopilación de datos. Los costos de 
recopilación de datos dependen sobre todo de las capacidades del equipo 
local, de los recursos disponibles y de la duración del trabajo de campo. 
Para saber más sobre cómo determinar los costos de una encuesta en un 
contexto particular, se recomienda al equipo de evaluación que primero 
entre en contacto con el organismo nacional de estadística y que busque 
información entre los equipos que hayan llevado a cabo un trabajo de 
encuestas en el país. 


Elaboración de un presupuesto para una evaluación de impacto 


Se necesitan muchos recursos para implementar una evaluación de 
impacto rigurosa, sobre todo cuando se trata de recopilar datos primarios. 
Las partidas presupuestarias incluyen los honorarios para al menos un 
investigador principal, un asistente de investigación, un coordinador del 
trabajo de campo, un experto en muestreo y los encuestadores. También 
se debe considerar el tiempo del personal del proyecto para proporcionar 
orientación y apoyo a lo largo de la evaluación. Estos recursos humanos 
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pueden consistir en investigadores y expertos técnicos de organizaciones 
internacionales, consultores internacionales o locales y personal del pro- 
grama local. Los costos de viaje y viáticos también se deben presupuestar. 
También se deben considerar en la planificación los recursos para la 
divulgación, con frecuencia en forma de talleres, informes y documentos 
académicos. 

Como se ha señalado, el costo más importante suele ser el relacionado 
con la recopilación de datos (que incluye la creación y la prueba piloto de la 
encuesta), los materiales y el equipo para recoger los datos, la capacitación 
de los encuestadores, sus salarios, los vehículos y el combustible, y las ope- 
raciones de digitación de datos. Calcular todos estos costos requiere consi- 
derar algunos supuestos, por ejemplo, acerca del tiempo que llevará 
completar el cuestionario y de la duración de los viajes entre los 
emplazamientos. 

Los costos de una evaluación de impacto pueden repartirse a lo largo de 
varios ejercicios fiscales. El ejemplo de presupuesto del cuadro 12.3 muestra 
cómo se pueden desagregar los gastos en cada fase de una evaluación por 
ejercicio fiscal, con fines de contabilidad y de informes. Una vez más, es pro- 
bable que las demandas presupuestarias sean mayores durante los años en 
que se recopilan los datos. 


Opciones para financiar las evaluaciones 


El financiamiento de una evaluación puede provenir de numerosas 
fuentes, entre ellas: recursos para el proyecto, presupuestos directos 
del programa, ayudas a la investigación o financiamiento de los donan- 
tes. A menudo, los equipos de evaluación procuran tener una combina- 
ción de fuentes para generar los fondos necesarios. A pesar de que el 
financiamiento para las evaluaciones solía provenir sobre todo de pre- 
supuestos para la investigación, un énfasis creciente en la elaboración 
de políticas basadas en la evidencia ha aumentado el financiamiento 
proveniente de otras fuentes. En los casos en que es probable que una 
evaluación zanje una brecha de conocimientos considerable de interés 
para la comunidad de desarrollo en términos más amplios, y donde se 
pueda aplicar una evaluación creíble y robusta, se debería instar a los 
responsables de las políticas a buscar financiamiento externo, debido al 
bien público que los resultados de la evaluación proporcionarán. Las 
fuentes de financiamiento son el gobierno, los bancos de desarrollo, las 
organizaciones multilaterales, los organismos de las Naciones Unidas, 
las fundaciones, las instituciones filantrópicas, y las organizaciones de 
investigación y evaluación, como la Iniciativa Internacional para la 
Evaluación de Impacto. 


Gestión de una evaluación de impacto 


249 


‘ajuainbis eulbed ej ue enunuog 


SO9MEIN A JOJOH 


OSL € OSL seq 0 0 seq :odweo ap oleqes} ap Jopeuip1oog 

sa¡euor9eua]ul so|jənA 

osel L OSE'L salelA 0 0 selein  :oduleo ep oleqe,] ap Jopeulpioo) 

|e90| 91189119] ajrodsuel] 

os S OL seq 0S G OL seq :sə|guologuiəlui SƏJOYNSUOJ 

SO9I}ẸIA A 

000°€ oz OSL seq 000 £ oz OSL sejq I9ƏloH -SO/PUO!DEUJO}U! SBJO}NSUOD 

sa|euo!9euajul 

0002 rá 009" salelA 0002 Cc 00S°E salel\ SOJƏNA :sayeuoroeu/a]u! sə1ollnsuoO 

0S G OL seg 0g G OL seiq |290] 911881191 ajnodsue.] :¡euosiay 

06L S OSL seq 094 S OSL seq SO9NBIA Á JƏ}0H :leuosiƏd 

0S€'€ L OSE'E salelA OSEE L ossee salen SƏ|euoloeu1Ə1ul so|ƏnA :¡puosiag 

sejo1p Á səíe!A `D 

000 ¿ S 007 seq 000'p OL oor seq oonsipe1sə oJJedx3 

oduues ap ofeqe ap 

009€ oel o8z seq 0 0 08z seq JopeulpiooO/8luəƏlsise JopebseAu| 

00S°€ OL OSE seq 00S £ OL OSE seq (Z) ¡euoloeu.aju! 1Ol|nsuoO 

0 0 osr seq 0929 Sl osr seq (L) ¡guordeulaju! JO];NSUOD 

006'Lv 0S¿tL səioly|nsuo3 SO] əp SOMPIOUOH `g 

000 L rá 00GZ SEUBLUSS 000 SL rá 0092 seuBulas Jeuosiad jap souejes “y 
($sn) ($sn) ($sn) ($sn) 
1830] sapepiun pepiun 1810] sapepiun pepiun 

0150) ƏpoiəunN 10d 03sS0) pepun 01509) ap OI9UINN 40d 0350) pepiun 
aseq ap eun] ouasip jap edez3 


ap sojep ap edez3 


opedwı ap uolsenjead eun eed oysandnsaid ap ojdwaly g'z| Openg 


250 


‘ajuainbis eulbed ej ue enunuoo 


0£9'861 aseq ap eau! ap edel3 osr Ev oussip ap edel3 ede}ə 10d saje10] SO1S0) 

SOUWUOLUI/UIDeB|NAIG 

(sa)1a/1e1 

sojep ap ugisebjnaip A sisijeuy “3 

pnjes 

000 ¿/ 000 € ve e/OUIN ap sopelnsey :g solep ap od! 

soAneonpə 

000 ¿Zt 000'£ vl e/OUIN sopeynsey :z solep ep odi| 

000 ¿L OOL 4) ej9nosy OUSILUJUSSUOD :| solep ap Odi] 

000 9¿L so}ep ap uolioe|idoo5əu] “q 

¡e90| 911591191 Ə11odsueu| 

oe € OL seq 0 0 seq :odweo ap oleqes} ap Jopeulpsoo7) 
($sn) ($sn) ($sn) ($sn) 
1810] sapepiun pepiun 1810] sapepiun pepiun 

0350) »2polauny 10d o}so9  pepiun 01509) ap ouy 40d 03509) pepiun 


aseq ap esul] 
ap SOJEp ap edez3 


Ouasip jap edez3 


(enunuos) oyyeduu ap uoišrəeni|eAə eun esed o}sandnsaid ap ojdwely £g'z| Oupeng 


251 


‘ajuainbis eubed ej ua enunuoo 


¡890| 911591191 SLLOASUBA] 


0S G OL seq 0S G OL seq :sə|guoliopguiəlui! S8JO]|NSUOD 
SO9I}ẸIA A 
000 £ oz OSL seq 000°€ oz OSL sejq [90H -SO/EUO!SBUJO}U! S8JO}NSUOD 
sa¡euo!9euajul 
0004 rá 009'€ selelA 0002 rá 009'€ sele sojan, :sejeuoroeuJejul SƏJOYNSUOJ 
0% q OL seq oG q OL seq 1890] 91189118] ƏHOdSULI| :¡euosiay 
ooS'L OL OSL seq 00g'L OL OSL seq S001}ẸIA Á [OH :leuos1Əd 
00/'9 C OGe'e salelA ogee L 0S€'€ soleil) sa|euo!eula]ul so|ənA :¡euosiad 
sejo1p A səfe!A `D 
000 ¿ S oor seq 000"z S oor seq 0911SIpe1sa oyədxą 
oduues ap ofeqe1} ap 
000'8z OOL 082 selq 000°82 OOL 082 seq iopeulpiooO/əluəlsise JopeBisenu] 
009€ OL ose seq 0002 oz OSE seq (Z) ¡euoroeulaju! 1ollnsuoo 
oost OL oat seq 06/'9 SL OSV seq (L) ¡euoroeuajur 1ollnsuoO 
000'8€ 06/'Ev $910}|NSUOD SO] ap SOMPIOUOH “Y 
000 SL CC 00972 seuelues  000'SL CECE 00972 SBUBLUSS Jeuosiad jap sonejes “y 
($sn) sepepiun ($sn) pepiun ($sn) sapepiun ($sn) pepiun 
1830] ep oJjsuny  ouezjun sajejoz ap oJaunN pepiun 
01509) 01509) solso5 10d 03509) 


edeza epunbas 
ojuəiruuinBəs ap sojeg 


edejo ejəuiud 
oljuəlruuinBəs ap sojeg 


(enuruos) oyyedun ap uọpenjeaa eun esed ojsandnsald ap ojdwəfq £'z| oJpeno 


252 


OvL 169 UOIDEN|EA9 SO}SOD |e]ol 
(| edeza) 
DEL YOZ (|| edeza) ojuanuinbas  DE£G'LOZ oluəluin6əs edeja 10d sə|e1o1 solsoo 
000 SL € 000'S SOUUOJUI/UIDeB|NAIG 
0000” rá 000'0Z (sa).a/181 
000 SGS solep ap uoebynaip Á sisijeuy `3 
pn¡es 
000 ¿¿ 000 £ vc eP/OUIN  000'ZZ 000 € vc e/OUIN ap sope}nsəy :€ solep ep od! 
SOAI}eONpe 
000 ¿t 000 € bl e/0uIN 000° Zt 000 £ rL e/OUIN sopejjnsay :z sojep ap od! | 
000 ¿L OOL OcL ejənos4 000 ¿L ool 0¿L ejənos4 OJUSILUIJUBSUOD :| SOJEP ap Odi | 
000 9¿L 000'9ZL sojep ap uo¡dejido9ay “q 
¡e90| 91159119] ajrodsuel] 
oe € OL seq 0€ € OL seq :odweo ep oleqes} ap Jopeuipioog 
SO9MEIA Á JƏ}OH 
ostr € OSL seq osy € OSL seq :oduueo ap ofeqe1} ap Jopeulpsooy 
sa|¡euo!9eua]ul so|jənA 
OSE'L L OSEL seleln OSE'L L OSE'L selelA :oduueo ap ofeqe1} ap iopeulpiooo 
($sn) sepepiun ($sn) pepiun ($sn) sepepiun ($sn) pepiun 
1810] ap oJjsuny  ouejun sajejoz ap oJaunny pepiun 
01509 01509) S0JS0) 10d 03509) 


edeza epunbas 
ojuəlruuinBəs ap sojeg 


edejo eiəuiud 
ojuəlruuinBəs ap sojeg 


(enuruos) oyyedul ap uoiñrenieAə eun esed ozsandnsaxd ap ojdwely |Z, oIpeno 


253 


254 


Otros recursos 


e Para material de apoyo relacionado con el libro y para hipervínculos de más 
recursos, se recomienda consultar el sitio web de la Evaluación de Impacto en 
la Práctica (http://www.worldbank.org/ieinpractice). 
e Para consultar diversos instrumentos útiles en la planificación e implementación 
de una evaluación, véase el portal de evaluación del BID (http://www.iadb.org 
/portalevaluacion), que incluye: 
> Sección de diseño: Cartas Gantt para ayudar en la programación de las 
actividades de evaluación de impacto, un instrumento de plantilla de 
presupuesto para estimar los costos de una evaluación de impacto, y una 
lista de verificación de actividades centrales que se realizarán. 

> Sección de implementación: Términos de referencia de la muestra para los 
investigadores principales, empresas de recopilación de datos y apoyo y 
supervisión técnica. 
e Para directrices e instrumentos útiles en la planificación e implementación de 
una evaluación, véase el World Bank Impact Evaluation Toolkit (Vermeersch, 
Rothenbihler y Sturdy, 2012), que incluye lo siguiente: 
= Módulo 2: Armado del equipo: términos de referencia de la muestra para 
los investigadores principales, coordinadores de la evaluación, analistas de 
datos, investigadores locales, expertos en cálculos de potencia, expertos en 
calidad de datos, trabajadores locales y otros. 

> Manuales de campo y programas de capacitación para hogares y centros de 
salud. 

> Módulo 3: Diseño: directrices sobre cómo alinear el calendario, la composi- 
ción del equipo y el presupuesto de su evaluación de impacto, y una plantilla 
de presupuesto. 

> Módulo 4: Preparación de la recopilación de datos: información sobre la 
programación de actividades de recopilación de datos y logro de acuerdos 
con los interesados sobre la propiedad de los datos; Carta Gantt, presupues- 
to de recopilación de datos de la muestra. 


Notas 


1. El acrónimo JPAL corresponde al Abdul Latif Jameel Poverty Action Lab; SPD 
es la Oficina de Planificación Estratégica y Efectividad en el Desarrollo, y RES es 
el Departamento de Investigación del BID. 


2. Véase King y Behrman (2009) para un análisis detallado de las cuestiones de 
programación con respecto a la evaluación de programas sociales. 

3. “Hay diversos motivos por los que la implementación no es ni inmediata 
ni perfecta, por qué la duración de la exposición al tratamiento difiere 
no solo entre diferentes ámbitos del programa sino también en los diferen- 
tes beneficiarios últimos, y por qué las diferentes exposiciones pueden 
generar diferentes estimaciones del impacto de un programa” (King y 
Behrman, 2009). 
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4. Si bien los cuadros 12.1 y 12.2 proporcionan referencias útiles, no son representa- 
tivos de todas las evaluaciones emprendidas por el programa SIEF o el Banco 
Mundial. 

5. En este caso, el costo se calcula como porcentaje de la parte del proyecto 
financiado por el Banco Mundial. 
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CAPÍTULO 13 


La ética y la ciencia en la 
evaluación de impacto 


La gestión de evaluaciones éticas y creíbles 


La ética de la evaluación se centra en proteger a los individuos o sujetos 
humanos que participan en la evaluación, mientras que la transparencia de 
los métodos contribuye a asegurar que los resultados de la evaluación no 
estén sesgados, sean fiables y creíbles, y aporten a un acervo más amplio de 
conocimientos. 

Los responsables de las políticas y los investigadores tienen un interés 
conjunto y una responsabilidad compartida en asegurar que la evaluación 
sea ética y que sus resultados no estén sesgados, sean fiables y creíbles. Lo 
contrario puede significar la invalidación de la evaluación y podría generar 
problemas más allá del alcance mismo de esta. Imagínese una evaluación de 
impacto que pone en peligro a un grupo de personas al divulgar datos perso- 
nales, o una evaluación que utiliza un mecanismo de asignación de pro- 
grama que es injusto porque excluye a las familias más necesitadas. O 
piénsese en una evaluación que demuestra que un programa es sumamente 
exitoso pero no divulga ningún dato para apoyar esa afirmación. Cualquiera 
de estos casos podría producir indignación pública: quejas en los medios de 
comunicación, en los tribunales o en otras instancias, y sería fuente de 
malestar para los responsables de las políticas públicas y los investigadores. 
La crítica de la evaluación podría llegar hasta el programa mismo e incluso 
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atentar contra su implementación. La fiabilidad y la completitud de los 
resultados de evaluación también son muy importantes: cuando las evalua- 
ciones producen estimaciones sesgadas o parciales del impacto de los pro- 
gramas, los responsables de las políticas se verán limitados en su capacidad 
de adoptar una decisión plenamente fundamentada. 

Aunque las evaluaciones de impacto estén vinculadas a programas y pro- 
yectos públicos, también constituyen una labor de investigación y, por lo 
tanto, se llevan a cabo en el dominio de las ciencias sociales. De la misma 
manera, el equipo evaluador debe respetar una serie de principios y reglas 
de las ciencias sociales para garantizar que la evaluación sea ética y transpa- 
rente en sus métodos y resultados. 


La ética de llevar a cabo evaluaciones de 
impacto 


Cuando una evaluación de impacto asigna los sujetos a grupos de trata- 
miento y comparación y recopila datos de análisis acerca de ellos, el equipo 
de evaluación asume la responsabilidad de minimizar en la mayor medida 
posible cualquier riesgo de que los individuos resulten perjudicados, así 
como de asegurar que los individuos que participen en la evaluación lo 
hagan a través de un consentimiento informado. 


La ética en la asignación de grupos de tratamiento y 
comparación 


Como sucede con el juramento hipocrático de la profesión médica, un primer 
principio de la ética de la evaluación debería ser no causar perjuicios. La prin- 
cipal preocupación es que la intervención del programa que se evalúa pueda 
damnificar a los individuos, ya sea directa o indirectamente. Por ejemplo, un 
proyecto de rehabilitación de carreteras podría desplazar a los hogares que 
residen a lo largo de determinadas partes de una carretera. Un proyecto de 
alfabetización que no tiene en cuenta el uso de las lenguas nativas podría vul- 
nerar a las comunidades indígenas. Numerosos gobiernos y donantes inter- 
nacionales que financian proyectos de desarrollo utilizan un marco de 
salvaguardias para evitar y mitigar este tipo de riesgos. Aunque los encarga- 
dos del programa tienen la responsabilidad fundamental de aplicar medidas 
de salvaguardias en los proyectos, el equipo de evaluación debería estar vigi- 
lante para verificar que el proyecto cumpla con estos marcos requeridos. 
Existe otra preocupación a propósito del daño que puede surgir de pri- 
var a beneficiarios potenciales de una intervención. Un principio funda- 
mental es que los grupos no deberían ser excluidos de una intervención que 
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se sabe que es beneficiosa, únicamente por el propósito de llevar a cabo una 
evaluación. Las evaluaciones solo deberían realizarse en casos en que el 
equipo de evaluación ignore si una intervención es beneficiosa en el con- 
texto particular en que se evalúa. Además, si una evaluación demuestra que 
un programa es costo-efectivo, los financiadores del mismo -ya sean 
gobiernos, donantes u organizaciones no gubernamentales (ONG)- debe- 
rían hacer un esfuerzo razonable para ampliar el programa con el fin de 
incluir a los grupos de comparación una vez que haya finalizado la evalua- 
ción de impacto. 

Un principio relacionado que se impulsa en este libro es que las evalua- 
ciones no deberían dictar cómo se asignan los programas; al contrario, 
deberían ajustarse a las reglas de asignación del programa en la medida en 
que estas sean claras e imparciales. La evaluación también puede contri- 
buir a (re)definir las reglas cuando estas no existen o cuando no son jus- 
tas. Siguiendo este procedimiento, se contribuirá a asegurar que las 
preocupaciones éticas no emanen tanto de la propia evaluación de 
impacto como de la ética de las reglas utilizadas para elegir a los benefi- 
ciarios del programa. Aun así, la asignación de grupos de tratamiento y 
comparación puede suscitar inquietudes acerca de la ética de negar los 
beneficios del programa a los beneficiarios elegibles. Esto es lo que ocurre 
en particular con la asignación aleatoria de los beneficios del programa. 
En la segunda parte y en el capítulo 11, se ha puesto de relieve que la asig- 
nación aleatoria es un método que se puede aplicar en contextos operati- 
vos especificos. Concretamente, el hecho de que la mayoría de los 
programas funcionen con recursos financieros y administrativos limita- 
dos hace imposible llegar a todos los beneficiarios elegibles al unísono. 
Esto tiene que ver con preocupaciones éticas, dado que el programa 
mismo debe desarrollar reglas de asignación e imponer algún tipo de 
selección, incluso sin la existencia de una evaluación de impacto. Desde 
una perspectiva ética, hay buenos argumentos para que todos aquellos 
que son igualmente elegibles para participar en un programa tengan igua- 
les probabilidades de ser destinatarios del mismo. La asignación aleatoria 
cumple este requisito. En otros contextos operativos en los que un pro- 
grama se va a desarrollar por fases, la implementación se puede basar en 
la selección aleatoria del orden en que los beneficiarios o grupos de bene- 
ficiarios igualmente elegibles serán objeto del programa. En dichos casos, 
esto dará a cada beneficiario elegible la misma probabilidad de ser el 
primero en recibir el programa. Así, los beneficiarios que ingresan poste- 
riormente en el programa pueden ser tomados como grupo de compara- 
ción para los primeros beneficiarios, generándose de este modo un sólido 
diseño de evaluación y un método transparente y equitativo para asignar 
los recursos escasos. 
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Concepto clave 


No se debería excluir a 


un grupo de una 


intervención que se 


sabe que es 
beneficiosa 


únicamente para los 


fines de una 
evaluación. 
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Por último, también puede manifestarse una inquietud ética a propósito 
de no llevar a cabo una evaluación cuando los programas invierten recursos 
considerables en intervenciones cuya efectividad se desconoce. En este 
contexto, la propia falta de evaluación podría verse como no ética porque 
podría perpetuar programas despilfarradores que no benefician a la pobla- 
ción, mientras que los fondos podrían ser mejor gastados en intervenciones 
más efectivas. La información acerca de la efectividad del programa que 
producen las evaluaciones de impacto puede contribuir a una inversión más 
ética y efectiva de los recursos públicos. 


La protección de sujetos humanos durante la recopilación, el 
procesamiento y el almacenamiento de datos 


Una segunda instancia en la cual los sujetos podrían verse perjudicados es 
durante la recopilación, el procesamiento y el almacenamiento de datos. Los 
hogares, los maestros, médicos, administradores y otras personas que res- 
ponden a cuestionarios o proporcionan datos a través de otros medios 
podrían verse perjudicados si la información que proporcionan se divulga 
públicamente sin suficientes salvaguardias para proteger su anonimato. El 
perjuicio podría afectar a los propios individuos o a una organización a la 
que pertenecen. He aquí unos cuantos ejemplos: 


e Mientras se lleva a cabo una encuesta, una mujer comparte información 
acerca de sus prácticas de planificación familiar y su marido (que no está 
a favor de la planificación familiar) escucha su conversación con el 
encuestador. 


e La privacidad de los hogares se ve violentada (y su seguridad puesta en 
peligro) cuando un individuo consigue utilizar los datos de una encuesta 
que fueron publicados en Internet para identificar el ingreso y los activos 
de familias específicas. 


e Un estudio utiliza encuestadores no calificados para realizar pruebas 
biomédicas, como extracciones de sangre. 


e Unencuestado solicita que se le elimine de un estudio a medio camino de 
la entrevista, pero el encuestador lo insta a acabar de contestar las 
preguntas. 


e Los datos de la encuesta se emplean para identificar a organizaciones 
comunitarias que se oponen a ciertas políticas de los gobiernos, con el fin 
de tomar represalias contra ellas. 


Frente a riesgos como estos, compete a los investigadores principales y a 
otros miembros del equipo de investigación salvaguardar los derechos y el 
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bienestar de los sujetos humanos que participan en la evaluación de impacto, 
de conformidad con el código ético y la legislación nacional adecuada y con 
las directrices internacionales.! La Organización Mundial de la Salud (OMS) 
recomienda los siguientes criterios básicos para evaluar los proyectos de 
investigación con sujetos humanos: 


e Los derechos y el bienestar de los sujetos que participan en la evaluación 
de impacto deberían ser protegidos de forma adecuada. 


e Los investigadores deberían obtener un consentimiento informado de 
los participantes. 


e El equilibrio entre riesgo y beneficios potenciales implicados deberían 
ser valorados y declarados aceptables por un panel de expertos 
independientes. 


e Deberían cumplirse todos los requisitos nacionales especiales. 


El Informe Belmont “Principios éticos y pautas para la protección de 
los sujetos humanos en la investigación” identifica tres preceptos que cons- 
tituyen el fundamento de la conducta ética de la investigación con sujetos 
humanos: 


e El respeto por las personas. ¿Cómo obtendrán los investigadores el con- 
sentimiento informado de los sujetos de su investigación? 


e Beneficencia. ¿Cómo asegurarán los investigadores que la investigación 
(1) no cause perjuicios y (2) maximice los beneficios potenciales y mini- 
mice el daño potencial? 


e Justicia. ¿Cómo asegurarán los investigadores que los beneficios y cargas 
de la investigación sean compartidos de forma imparcial y equitativa? 


Como elemento clave de su deber de proteger a los sujetos humanos, el 
investigador principal debería presentar la investigación y los protocolos de 
recopilación de datos para que sean analizados y aprobados por una Junta 
de Revisión Institucional (JRD, también conocida como Comité Ético 
Independiente o Junta de Revisión Ética. La JRI es un comité que ha sido 
formalmente nombrado para revisar, aprobar y monitorear la investigación 
biomédica y conductual que trabaja con sujetos humanos. Tanto antes de 
que comience el estudio como durante su implementación, la JRI revisa los 
protocolos de investigación y materiales relacionados con el fin de evaluar la 
ética de la investigación y sus métodos. En el contexto de las evaluaciones de 
impacto, el análisis de la JRI es particularmente importante cuando el estu- 
dio requiere la recopilación de datos de los hogares y de las personas. 
Concretamente, el estudio de la JRI verifica si los participantes son capaces 
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de tomar la decisión de participar de las actividades de recopilación de 
datos, y si su elección estará plenamente fundamentada y será voluntaria. 
Por último, la JRI analiza si hay algún motivo para creer que la seguridad de 
los participantes podría estar en riesgo. 

El investigador principal tiene la responsabilidad de identificar todas las 
instituciones que deberían revisar y aprobar el estudio. Numerosos países 
cuentan con una junta de revisión ética nacional y la mayoría de las univer- 
sidades tiene una JRI. Normalmente, al equipo se le pedirá que obtenga la 
aprobación ética de la junta de revisión ética nacional correspondiente del 
país y de las JRI de cualquier universidad con la que los investigadores ten- 
gan alguna filiación. Puede que haya instancias concretas en que las evalua- 
ciones de impacto se lleven a cabo en países que no tienen una JRI nacional 
o con investigadores cuyas instituciones carecen de dicha junta. En esos 
casos, el investigador principal debería contratar una JRI (posiblemente 
comercial) con una tercera parte. El proceso de análisis y aprobación puede 
tardar entre dos y tres meses, aunque el plazo varía en función de la frecuen- 
cia con que se reúne el Comité de la JRI. Los equipos de políticas públicas y 
de investigación deberían coordinar las presentaciones a la JRI y las activi- 
dades de recopilación de datos, de modo que puedan obtener todas las apro- 
baciones requeridas antes de iniciar la recopilación de datos que involucra a 
sujetos humanos. 

La revisión de la JRI es una condición necesaria pero insuficiente para 
asegurar la protección de los sujetos humanos. Las JRI pueden variar en gran 
medida en términos de capacidad y experiencia con los experimentos en 
ciencias sociales, asi como en la focalización de su estudio. Las JRI, sobre 
todo si están situadas lejos del lugar donde se lleva a cabo la evaluación, pue- 
den no conocer lo suficiente las circunstancias locales para ser capaces de 
identificar amenazas contextuales de los sujetos humanos. Puede que pongan 
un énfasis excesivo en la redacción de los cuestionarios y de los formularios 
de consentimiento. O puede que tengan experiencia en un ámbito más focali- 
zado, como los experimentos médicos, cuyas normas son bastante diferentes 
de las de los experimentos sociales, en términos de los riesgos para los sujetos 
humanos. El pensar en la protección de los sujetos humanos no es algo que 
finaliza una vez que se obtiene la aprobación de una JRI; más bien, debería 
verse como un punto de partida para asegurar que la evaluación sea ética. 

Las juntas de revisión institucional suelen requerir la siguiente informa- 
ción, que debe presentarse para ser analizada: 

Evidencia de capacitación. Numerosas JRI (asi como muchas directrices 
éticas nacionales) requieren que el equipo de investigación esté capacitado 
en la protección de sujetos humanos, aunque las modalidades varían de un 
país a otro. Al final de este capítulo, en la sección “Otros recursos”, se expo- 
nen diversas opciones de capacitación. 
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El protocolo de investigación. El protocolo de investigación incluye ele- 
mentos centrales normalmente definidos en el plan de evaluación -sobre 
todo, la finalidad del estudio y los objetivos de la evaluación, las preguntas 
centrales de las políticas públicas y la metodología de evaluación pro- 
puesta-, así como también la descripción de cómo el equipo de investiga- 
ción asegurará la protección de los sujetos humanos. Como tal, es un 
documento importante en la documentación de una evaluación. El proto- 
colo de investigación suele incluir los siguientes elementos en relación con 
el tratamiento de sujetos humanos: el criterio para seleccionar a los partici- 
pantes del estudio (sujetos), la metodología y los protocolos aplicados para 
la protección de sujetos vulnerables, los procedimientos para asegurar que 
los sujetos sean conscientes de los riesgos y beneficios de participar en el 
estudio, y los procedimientos utilizados para garantizar el anonimato. La 
empresa encuestadora debería emplear el protocolo de investigación para 
orientar los seguimientos del trabajo de campo. En el sitio web de la OMS y 
en el Kit de Herramientas de Evaluación de Impacto? se presenta más infor- 
mación sobre el contenido del protocolo de investigación. 

Procedimientos para solicitar y documentar el consentimiento informado. 
El consentimiento informado es una piedra angular de la protección de los 
derechos de los sujetos humanos en cualquier estudio. Exige que los encues- 
tados comprendan claramente la finalidad, los procedimientos, los riesgos y 
beneficios de la recopilación de datos en que se les pide participar. Por 
defecto, el consentimiento informado de un encuestado adulto requiere un 
documento por escrito que incluya una sección sobre los métodos utilizados 
para proteger la confidencialidad del encuestado, una sección sobre el dere- 
cho del encuestado a rechazar o cesar su participación en cualquier 
momento, una explicación sobre riesgos y beneficios potenciales, informa- 
ción de contacto en caso de que el encuestado quiera contactar al equipo de 
recopilación de datos, y espacio para que los encuestados registren su con- 
sentimiento formal por escrito para participar en la recopilación de datos 
mediante una firma. En ocasiones, los participantes del estudio no son capa- 
ces de tomar la decisión de participar. Por ejemplo, a los niños se les suele 
considerar no capaces de tomar esta decisión. Por lo tanto, al contrario de 
los adultos, los menores no pueden expresar su consentimiento para parti- 
cipar en una encuesta; pueden acceder a participar si cuentan con un per- 
miso por escrito de sus padres o tutores. Si bien los pasos descritos 
constituyen los procedimientos por defecto, numerosas evaluaciones de 
impacto requieren que su JRI les exima del requisito de obtener un consen- 
timiento formal por escrito de los encuestados. Por ejemplo, cuando traba- 
jan con una población analfabeta, a menudo se exime a los potenciales 
adultos encuestados del consentimiento formal por escrito, que se sustituye 
por un consentimiento verbal documentado.* 
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Procedimientos para proteger la confidencialidad del encuestado. La 
protección de la confidencialidad del encuestado es crucial cuando se 
trata de almacenar y divulgar datos públicamente. Toda la información 
proporcionada a lo largo de la recopilación de datos debería ser anónima 
para proteger la identidad de los encuestados. A pesar de que los resulta- 
dos del estudio pueden publicarse, el informe debería redactarse de tal 
manera que no sea posible identificar un individuo o un hogar. En lo que 
respecta a la garantía de confidencialidad de los datos, se debería asignar 
a cada sujeto de la encuesta un único número de identificación encrip- 
tado, y se deberían eliminar todos los nombres e identificadores de la base 
de datos que se divulga públicamente. Los identificadores incluyen cual- 
quier variable que permita el reconocimiento de individuos u hogares 
(como direcciones) o cualquier combinación de variables que haga lo 
mismo (como una combinación de fecha y lugar de nacimiento, sexo y 
años de escolarización). En caso de que el equipo de investigación prevea 
que necesitará los identificadores con el fin de hacer un seguimiento de 
los entrevistados en una encuesta posterior, puede gestionar una base 
de datos independiente y guardada en condiciones de seguridad, que vin- 
cule los ID individuales encriptados con la información de identificación 
de los encuestados.* Además de encriptar los ID individuales, puede que 
también sea necesario encriptar las localizaciones e instituciones. Por 
ejemplo, si los hogares y los individuos están codificados con ID encripta- 
dos, pero las localidades están identificadas, puede que sea posible 
reconocer los hogares a través de las características contenidas en la 
encuesta. Por ejemplo, puede que una localidad concreta incluya solo un 
hogar que posee una motocicleta, siete vacas y una peluquería. Cualquiera 
con acceso a los datos podría ser capaz de localizar el hogar y de esta 
manera se violaría la confidencialidad. 


Garantizar evaluaciones fiables y creíbles 
mediante la ciencia abierta 


Uno de los objetivos fundamentales de la evaluación de impacto consiste en 
estimar el impacto de un programa en una gama de resultados de interés. En 
la segunda parte de este capítulo se abordan una serie de métodos para ase- 
gurar que los impactos estimados sean robustos. Una evaluación de impacto 
bien diseñada y bien implementada debería garantizar que los resultados no 
estén sesgados, sean fiables y creíbles, y que contribuyan a un acervo de 
conocimiento más amplio. Cuando las evaluaciones no están sesgadas, y son 
fiables y creíbles y se pueden interpretar dentro de un acervo relevante de 
conocimiento relacionado, pueden contribuir a que se tomen las decisiones 
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adecuadas de política pública y se mejoren las vidas de las personas. Sin 
embargo, en la práctica, hay varios problemas que pueden impedir que este 
ideal se alcance. En esta sección, se analizará cómo diversas cuestiones cien- 
tíficas de la evaluación de impacto se pueden convertir en asuntos difíciles 
para los responsables de las políticas, y se presentarán medidas potenciales 
para evitar o mitigar estos problemas. Estas medidas se suelen agrupar bajo 
la denominación de ciencia abierta, porque su objetivo consiste en lograr 
que los métodos de investigación sean transparentes.* La mayoría de estos 
problemas tienen que ser manejados por el equipo de investigación, pero el 
equipo de política que supervisa una evaluación de impacto tiene que ser 
consciente de los mismos mientras administra las evaluaciones de impacto. 
En el cuadro 13.1 se resumen los problemas, las implicaciones de política y 
las posibles soluciones. 


Cuadro 13.1 Asegurar información fiable y creíble para las políticas mediante la ciencia abierta 


Soluciones de prevención y 


Implicaciones para las mitigación mediante la 
Problemas de la investigación políticas públicas ciencia abierta 
Sesgo de la publicación. Solo se Las decisiones de política se Registros de ensayos. 
publican los resultados positivos. basan en un acervo distorsionado 
Las evaluaciones que muestran de conocimiento. Los responsa- 
impactos limitados o nulos no se bles de la política pública tienen 
divulgan ampliamente. escasa información sobre lo que 


no funciona y siguen probando/ 
adoptando políticas que no 
tienen impacto alguno. 


Minería de datos. Los datos se Las decisiones de política para Planes de preanálisis. 
fragmentan cada vez más hasta adoptar intervenciones pueden 

que aparece un resultado positivo estar basadas en estimaciones 

en la regresión, o la hipótesis se positivas no justificadas de los 

reajusta a los resultados. impactos. 

Pruebas de hipótesis múltiples, Las decisiones de política Planes de preanálisis y técnicas 
análisis de subgrupo. Los investiga- pública para adoptar intervencio- de ajustes estadísticos especia- 
dores fragmentan cada vez más los nes pueden estar basadas en lizadas, como las pruebas de 
datos hasta que encuentran un estimaciones positivas no índices, la tasa prudente de 
resultado positivo para algún grupo. justificadas de los impactos. error relacionada con la familia 
Concretamente: (1) las múltiples y el control de la tasa de falsos 
pruebas conducen a la conclusión descubrimientos.? 


de que algunos impactos existen 
cuando en realidad no existen; o (2) 
solo se informa sobre los impactos 
que son significativos. 


Continúa en la página siguiente. 
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Cuadro 13.1 Asegurar información fiable y creíble para las políticas mediante la ciencia abierta (continúa) 


Problemas de la investigación 


Implicaciones para las 
políticas públicas 


Soluciones de prevención y 
mitigación mediante la 
ciencia abierta 


Falta de replicación. No se pueden 


replicar los resultados porque el 


protocolo de investigación, los datos 
y los métodos de análisis no están 


suficientemente documentados. 


Los errores y las manipulaciones 
pueden pasar inadvertidos. 


La política puede basarse en 
resultados manipulados 
(positivos o negativos), dado 
que los resultados pueden 
deberse a errores de cálculo. 


Los resultados entre diferentes 


estudios no se pueden comparar. 


La documentación y el registro 
de los datos, incluidos los 
protocolos de proyecto, los 
códigos de organización, la 
publicación de los códigos, y la 
publicación de datos. 


Cambios en las políticas de las 


A los investigadores no les interesa La validez de los resultados 
replicar los estudios, y a las revistas en otro contexto no se puede 
arbitradas no les interesan los 
resultados “yo también” 


No se pueden replicar las interven- 
ciones porque el protocolo de 


revistas arbitradas y de 

financiamiento para requerir 

documentación acerca de los 

probar. O 
datos y promover la replicación. 

Los responsables de la política 

pueden ser incapaces de 


intervención no está suficientemente replicar la intervención en un 


documentado. 


contexto diferente. 


a. Para una introducción básica al problema de las comparaciones múltiples y las correcciones estadísticas potenciales, se 


recomienda consultar https://en.wikipedia.org/wiki/Multiple_comparisons_problem. 
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Sesgo en la publicación y registros de pruebas 


Normalmente, a los investigadores que trabajan en evaluaciones de impacto 
les interesa asegurarse de que los resultados de sus evaluaciones sean publi- 
cados en revistas arbitradas porque eso contribuye a su carrera profesional. 
Sin embargo, la mayoría de los resultados que aparecen en estas publicacio- 
nes muestran impactos positivos. Por lo tanto, se impone la pregunta de qué 
sucede con las evaluaciones que tienen resultados negativos o que no pue- 
den mostrar resultados significativos. Los investigadores prácticamente no 
tienen incentivos para consignar resultados no significativos o someterlos a 
publicaciones arbitradas porque perciben que hay escaso interés en los 
resultados y que las revistas rechazarán sus documentos (Franco, Malhotra 
y Simonovits, 2014). Este sesgo en la publicación suele denominarse “pro- 
blema del cajón de archivador” porque los resultados permanecen en el 
“archivador” y no son divulgados ni publicados. Pueden surgir problemas de 
sesgo de publicación similares en las evaluaciones de impacto de programas 
específicos. Es más probable que los equipos de política pública, los finan- 
ciadores y los gobiernos den a conocer y publiciten los resultados positivos 
de una evaluación de un programa en lugar de difundir resultados negativos 
o ausencia de resultados. Debido a estas tendencias, es difícil tener un 
cuadro claro de las intervenciones que no funcionan, dado que los 
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resultados no suelen estar disponibles y el acervo de evidencia con el que se 
cuenta está más bien distorsionado. Los responsables de la política pública 
que tratan de basar sus decisiones en la evidencia disponible quizá no ten- 
gan acceso a resultados no publicados; como consecuencia, puede que 
continúen intentando trabajar con políticas que no han tenido éxito en otros 
lugares. 

Una solución parcial al sesgo de publicación es el registro de las pruebas. 
Se debería alentar a los equipos de evaluación de impacto a registrar sus 
pruebas, y en ese sentido el equipo de política pública tiene un importante 
rol que desempeñar para asegurar que el equipo de investigación registre la 
evaluación de impacto. El registro de pruebas es muy común (y a menudo 
requerido) en las ciencias médicas, pero recién comienza a ganar terreno en 
las ciencias sociales, lo que incluye las evaluaciones de impacto. El registro 
implica que los investigadores declaren públicamente su intención de llevar 
a cabo una evaluación antes de hacerlo realmente, dejando asentada infor- 
mación clave acerca de la evaluación en un registro (véase el recuadro 13.1). 
Como consecuencia, debería ser posible tener una lista completa de las 
evaluaciones de impacto que se hayan llevado a cabo, tanto si los resultados 


fueron positivos como si no lo han sido. 


Recuadro 13.1: Registro de pruebas en las ciencias sociales 


Las evaluaciones de impacto de las políticas 
públicas normalmente deberían asentarse 
en los registros de ciencias sociales en lugar 
de hacerlo en los registros médicos, debido 
al carácter de la investigación. He aquí unos 
cuantos ejemplos: 


El registro de la American Economic 
Association para pruebas aleatorias con- 
troladas se puede consultar en http// 
www.socialscienceregistry.org. En julio 
de 2015 contenía 417 estudios realizados 
en 71 países. 
La Iniciativa Internacional para la 
Evaluación de Impacto (3ie) gestiona el 
Registry for International Development 
Impact Evaluations (RIDIE), que se cen- 
tra en las evaluaciones de impacto rela- 
cionadas con el desarrollo de los países 
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de ingresos bajos y medios. En julio de 
2015 contaba con alrededor de 64 evalua- 
ciones registradas. 

El Center for Open Science gestiona el 
Marco de Ciencia Abierta (OSF por sus 
siglas en inglés) y tiene un foco ligera- 
mente diferente, pero también puede 
servir como registro (https://osf.io/). El 
OSF es un sistema de gestión basado en 
la nube para proyectos de investigación, 
que permite crear “fotos instantáneas” 
de la investigación en cualquier momento 
del tiempo, con una URL persistente y 
una marca de fecha. Los investigadores 
pueden subir su protocolo, investigar 
hipótesis, datos y códigos en el OSF y 
compartir el enlace resultante de la web 
como prueba de registro. 
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Los registros constituyen un gran paso hacia adelante para garantizar que 
el acervo disponible de conocimiento no se distorsione más. Sin embargo, aún 
persisten muchas dificultades. Por ejemplo, aunque quede claro en un regis- 
tro que una evaluación se llevó a cabo, puede que no sea tan fácil obtener 
información acerca de los resultados de la misma. Las evaluaciones de 
impacto se pueden suspender o pueden no llevarse a cabo. E incluso si se 
encuentra disponible la falta de resultados de una evaluación, esto a menudo 
suscita un conjunto adicional de preguntas que complican la interpretación 
de los resultados: ¿Acaso los investigadores no encontraron resultados porque 
la evaluación estaba mal diseñada y ejecutada, porque el programa no estaba 
bien implementado, o porque el programa realmente no tuvo un impacto? 
Como se verá en el capítulo 16, la recopilación de datos complementarios a 
través del monitoreo del programa o desde fuentes alternativas de datos 
puede contribuir a garantizar que los resultados estén bien interpretados. 


Minería de datos, pruebas de hipótesis múltiples y análisis de 
subgrupos 


Otro problema potencial relacionado con la evaluación de impacto es la 
minería de datos, la práctica de manipular los datos en búsqueda de resulta- 
dos positivos. La minería de datos puede manifestarse de diferentes 
maneras. Por ejemplo, cuando hay datos disponibles, puede que aparezca la 
tentación de aplicar regresiones sobre los mismos hasta que surja “algo” 
positivo, y luego reajustar una hipótesis atractiva a aquel resultado. Esto 
constituye un problema por el siguiente motivo: cuando se aplican pruebas 
estadísticas para la significancia de los impactos, hay que utilizar un nivel de 
significancia de, por ejemplo, 5%. Estadisticamente, 1 en 20 pruebas de 
impacto arrojarán niveles significativos al 5%, aun cuando la distribución 
subyacente no garantice un impacto (véase el capítulo 15 para un debate 
sobre los errores de tipo 1). Con la minería de datos, ya no se puede garanti- 
zar que el resultado de un impacto sea genuino, ni si proviene únicamente 
de las propiedades estadísticas de la prueba. Este problema está relacionado 
con la cuestión de las pruebas de hipótesis múltiples, a saber: cuando una 
investigación incluye múltiples hipótesis diferentes, existe una alta probabi- 
lidad de que al menos una de ellas se confirme con una prueba positiva úni- 
camente por azar (debido a las propiedades estadísticas de la prueba), y no 
debido al impacto real. Una situación similar surge en el análisis de subgru- 
pos: cuando la muestra es lo suficientemente grande, los investigadores 
podrían intentar subdividirla hasta que encuentren un impacto en algún 
subgrupo. Una vez más, no se puede estar seguro de que un resultado de 
impacto en ese subgrupo sea un resultado genuino, o si proviene única- 
mente de las propiedades estadísticas de la prueba. 
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Otro ejemplo de minería de datos tiene lugar cuando la decisión de 
continuar o suspender la recopilación de datos se vuelve dependiente de un 
resultado intermedio: por ejemplo, una encuesta de hogares se planificó 
para un tamaño de muestra de 2.000 hogares y el trabajo de campo ha avan- 
zado hasta los 1.000. Si esta muestra reducida produce un resultado positivo 
de la evaluación de impacto y se toma la decisión de suspender la recopila- 
ción de datos para evitar el riesgo de que más datos puedan cambiar los 
resultados, esto sería minería de datos. Otros ejemplos son la exclusión de 
ciertas observaciones o grupos inconvenientes, o el ocultamiento selectivo 
de resultados que no encajan. Si bien no hay motivos para creer que estas 
prácticas son generalizadas, unos cuantos casos flagrantes y de alto perfil 
tienen el potencial para socavar la evaluación de impacto como ciencia. 
Además, incluso hay casos menores de minería de datos que tienen el poten- 
cial de distorsionar el acervo de evidencia utilizado por los responsables de 
la política pública para decidir qué intervenciones comenzar, continuar o 
suspender. 

Una recomendación habitual para evitar la minería de datos consiste en 
utilizar un plan de preanálisis. Este plan define los métodos de análisis antes 
de llevar a cabo el análisis de evaluación de impacto, dejando en claro así el 
foco de la evaluación y reduciendo el potencial para alterar los métodos una 
vez que haya comenzado el análisis. El plan de preanálisis debería especifi- 
car los resultados que se medirán, las variables construidas y utilizadas, los 
subgrupos para los que se llevará a cabo el análisis y los enfoques analíticos 
básicos que se utilizarán en la estimación de los impactos. Los planes de 
preanálisis también deberían incluir las correcciones propuestas por los 
investigadores en las pruebas de hipótesis múltiples y pruebas de subgru- 
pos, si se requiere. Por ejemplo, probar el impacto de una intervención en 
educación de seis diferentes puntuaciones de pruebas (matemáticas, inglés, 
geografía, historia, ciencia, francés) para cinco grupos diferentes de escue- 
las (grados 1 a 5) y dos sexos (masculino y femenino) arrojaría 60 hipótesis 
diferentes, una o varias de las cuales están destinadas a tener una prueba 
significativa solo por azar. Al contrario, el investigador podría proponer 
calcular uno o más índices que agrupan a los indicadores, para reducir el 
número de hipótesis y subgrupos.° 

Aunque un plan de preanálisis puede contribuir a aliviar la preocupación 
de la minería de datos, también existe la preocupación de que podría elimi- 
nar parte de la flexibilidad necesaria en el tipo de análisis que llevan a cabo 
los investigadores. Por ejemplo, puede que el plan de preanálisis especifique 
los canales anticipados de impacto de una intervención a través de la cadena 
de resultados. Sin embargo, una vez que la intervención se implemente en la 
práctica, de pronto puede surgir un conjunto de factores adicionales no anti- 
cipados. Por ejemplo, si un gobierno está pensando en implementar una 
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nueva manera de pagar a los proveedores de cuidados de salud, uno podría 
identificar posibles canales de impacto. Sin embargo, sería muy difícil anti- 
cipar todos los efectos posibles que esto podría tener. En algunos casos, sería 
necesario realizar entrevistas cualitativas con los proveedores para enten- 
der precisamente cómo se adaptan a los cambios y cómo esto influye en el 
desempeño. Sería muy difícil incorporar todas estas posibilidades en el plan 
de preanálisis por adelantado. En ese caso, los investigadores tendrían que 
trabajar por fuera del plan de preanálisis original, y no ser penalizados por 
ello. En otras palabras, un plan de preanálisis puede otorgar una credibilidad 
adicional a las evaluaciones, convirtiéndolas en confirmaciones de una hipó- 
tesis en lugar de ser solo investigación exploratoria; sin embargo, los investi- 
gadores deberían poder seguir explorando nuevas opciones que se pueden 
convertir en investigación confirmativa en evaluaciones posteriores. 


Falta de replicación 


Hay dos tipos de replicaciones importantes para la evaluación de impacto. En 
primer lugar, en un determinado estudio, los investigadores que no pertene- 
cen al equipo de investigación original deberían poder reproducir los mismos 
resultados (o al menos muy similares) que los investigadores originales utili- 
zando los mismos datos y análisis. Las replicaciones de un determinado 
resultado de la evaluación de impacto constituyen una manera de verificar su 
validez interna y su ausencia de sesgo. Cuando los estudios o los resultados 
no pueden replicarse debido a la falta de disponibilidad de información sobre 
la codificación o los datos, existe el riesgo de que los errores y las manipula- 
ciones en el análisis pasen desapercibidos, y de que los resultados imprecisos 
sigan influyendo en las políticas. Afortunadamente, se están logrando avan- 
ces sustanciales en términos de hacer disponibles los datos, los códigos y los 
protocolos. Cada vez más revistas arbitradas de ciencias sociales están 
comenzando a exigir que esos datos y códigos estén disponibles junto con la 
publicación de los resultados. Directrices como las de Promoción de la 
Transparencia y la Apertura, desarrolladas por el Centro para la Ciencia 
Abierta, están cambiando lentamente las prácticas y los incentivos. Para ase- 
gurar que pueda realizarse la replicación, los equipos de evaluación de 
impacto tienen que hacer disponibles públicamente los datos y asegurar que 
todos los protocolos (incluido el de aleatorización), las bases de datos, y los 
códigos de análisis de la evaluación de impacto estén documentados, almace- 
nados en condiciones de seguridad y suficientemente detallados. 

En segundo lugar, una vez que se completa una evaluación, debería ser 
posible que otros responsables de la política pública e investigadores utili- 
cen las intervenciones y protocolos de evaluación originales y los apliquen 
en un contexto diferente o en un momento distinto para ver si los resultados 


La evaluación de impacto en la práctica 


se mantienen bajo circunstancias diversas. La falta de replicación de los 
resultados de la evaluación es un asunto serio para los responsables de la 
política pública. Por ejemplo, una evaluación muestra que la introducción 
de computadores en las escuelas tiene resultados sumamente beneficiosos, 
pero este es el único estudio que produjo esos resultados y otros investiga- 
dores no han podido obtener los mismos resultados positivos en posteriores 
evaluaciones de programas similares. ¿Qué debe hacer un responsable de 
política pública en ese caso? La falta de replicación de los resultados puede 
deberse a diferentes causas. En primer lugar, quizá sea difícil llevar a cabo 
evaluaciones que intenten solo replicar resultados que fueron obtenidos en 
un estudio anterior: puede que ni a los investigadores ni a los financiadores 
les interesen los estudios de “yo también”. En segundo lugar, aun cuando 
existan la voluntad y los fondos para replicar los estudios, la replicación no 
siempre es posible porque puede que los protocolos (incluido el de aleatori- 
zación), los datos, y los códigos de análisis del estudio original no estén dis- 
ponibles ni sean lo suficientemente detallados. Se observa un esfuerzo 
creciente entre las organizaciones que apoyan las evaluaciones de impacto 
para alentar replicaciones en diferentes contextos: por ejemplo, desarro- 
llando grupos de estudio sobre temas similares o promoviendo evaluaciones 
de impacto de multisitios. 


Lista de verificación: una evaluación de impacto 
ética y creíble 


Los responsables de la política pública tienen un importante rol que desempe- 
ñar para asegurar que se creen las condiciones necesarias para una evaluación 
de impacto ética y creíble. Concretamente, los responsables de la política 
pública tienen la responsabilidad fundamental de asegurar que las reglas de 
asignación del programa sean justas, y pueden pedir al equipo de investiga- 
ción una rendición de cuentas de la transparencia de los métodos de investi- 
gación. A continuación, se sugiere una lista de preguntas de verificación. 


Y” ¿Es justa la asignación a los grupos de tratamiento y comparación? ¿Hay 
grupos con necesidades particularmente acuciantes que deberían recibir 
el programa de todas maneras? ¿Quién será excluido de la evaluación de 
impacto? 


Y” ¿El equipo de investigación ha identificado la JRI o el comité de revisión 
ética nacional pertinente? 


Y” ¿Permite el calendario de la evaluación de impacto contar con tiempo 
suficiente para preparar y presentar el protocolo de investigación a la JRI 
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y obtener consentimiento antes de que comience la recopilación de datos 
de sujetos humanos? 


Y” ¿El equipo de investigación presentó el protocolo de investigación y el 
plan de preanálisis a un registro de pruebas de ciencias sociales? 


Y” ¿Existe un procedimiento para asegurar que los elementos clave de la 
intervención estén documentados tal como ocurren en la práctica, y no 
solo como están planificados? 


Y” ¿Los responsables de la política pública comprenden que los resultados 
de la evaluación pueden mostrar que la intervención no fue efectiva, y 
están de acuerdo en que esos resultados serán publicados y no retenidos? 


Y” ¿El equipo de evaluación ha identificado la manera en que se divulgarán 
los datos y los resultados de la evaluación, aun cuando el equipo de inves- 
tigación no consiga publicar los resultados en una revista arbitrada? 


Los principios, los problemas y la lista de verificación definidos en este 
capítulo pueden contribuir a asegurar que una evaluación de impacto sea 
creíble y ética. 


Otros recursos 


e Para material de apoyo relacionado con el libro y para hipervínculos de más 
recursos, se recomienda consultar el sitio web de la Evaluación de Impacto en 
la Práctica (http: //www.worldbank.org/ieinpractice). 

e Capacitación en investigación con sujetos humanos de los Institutos Naciona- 
les de Salud (National Institutes of Health o NIH) de Estados Unidos. 
> Los NIH ofrecen una capacitación en línea que, si bien se centra en las 

ciencias médicas y en Estados Unidos, es muy informativa y se tarda solo 
una hora en completarla. Véanse los enlaces: http://phrp.nihtraining.com 
/users/login.php y www.ohsr.od.nih.gov. 

e Capacitación en investigación con sujetos humanos a través de la Iniciativa de 
Capacitación Institucional Colaborativa (CITT) de la Universidad de Miami. 
> La CITI brinda cursos internacionales en varias lenguas tanto a organiza- 

ciones como a individuos, aunque el programa tiene un costo (valor inicial: 
US$100 por persona). Véase http://www.citiprogram.com. 
e Compilación internacional de normas de investigación en seres humanos: 


> Cada año, el Departamento de Salud y de Servicios Humanos de Estados 
Unidos publica una compilación de leyes, regulaciones y directrices que 
rigen la investigación sobre seres humanos. La edición de 2015 incluye 113 
paises, así como también las normas de diversas organizaciones internacio- 
nales y regionales. El documento contiene las juntas de revisión institucio- 
nal nacionales e internacionales (http://www.hhs.gov/ohrp/international). 
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Procedimientos para la protección de sujetos humanos en investigaciones 
apoyadas por la Agencia de los Estados Unidos para el Desarrollo Internacional 
(USAID). Véase el enlace http://www.usaid.gov/policy/ads/200/humansub.pdf. 


Manual de mejores prácticas en la investigación transparente en ciencias sociales, 
de Garret Christensen, con la asesoría de Courtney Soderberg (Center 

for Open Science). Véase el enlace https: //github.com/garretchristensen 
/BestPracticesManual. 


> Guia de trabajo de las últimas mejores prácticas para la investigación 
cuantitativa transparente en ciencias sociales. El manual es actualizado de 
manera regular. 

Directrices de Promoción de la Transparencia y la Apertura (TOP). Véase el 

enlace http://centerforopenscience.org/top/. 


> Las directrices se pueden encontrar en el sitio web del Center for Open 
Science. 

Para enlaces a juntas de revisión independientes reconocidas y servicios inde- 

pendientes de JRI, véase el Portal de Evaluación del Banco Interamericano de 

Desarrollo (BID): http://www.iadb.org/portalevaluacion. 


Para más información sobre la recopilación de datos, véase el Portal de Eva- 
luación del BID: http://www.iadb.org/portalevaluacion. 


> Véase la sección sobre recopilación de datos en la sección de protección de 
sujetos humanos. 

> Nótese que el enlace de la Association for the Accreditation of Human 
Research Protection Programs (AAHRPP) ofrece capacitación y certifi- 
cación para las JRI. Se puede encontrar una lista de las organizaciones 
acreditadas en su sitio web. 

Para directrices sobre la protección de los participantes, véase el Kit de 

Herramientas de Evaluación de Impacto (Impact Evaluation Toolkit) del Banco 

Mundial, Módulo 4 (http://www.worldbank.org/health/impactevaluationtoolkit). 


Notas 


1. En ausencia de directrices de ética nacional, el investigador y el equipo deberían 


orientarse según la declaración de Helsinki adoptada por la 29 Asamblea Médica 
Mundial en Tokio (octubre de 1975) y el artículo 7 del Acuerdo Internacional de 
Derechos Civiles y Políticos, aprobado por la Asamblea General de las Naciones 
Unidas el 16 de diciembre de 1966. Se encontrarán otras fuentes en la Organiza- 
ción Mundial de la Salud (OMS) y en el “Informe Belmont sobre principios 
éticos” y las “Directrices para la protección de seres humanos” (1974) (http:// 
www.hhs.gov/ohrp/policy/belmont.html). Una compilación internacional de 
normas de investigación sobre seres humanos se puede hallar en http://www 
-hhs.gov/ohrp/international. 

. Las directrices de la OMS sobre cémo elaborar un protocolo para una investiga- 
ción que cuente con la participación de seres humanos se pueden encontrar en 
http://www.who.int/rpc/research_ethics/guide_rp/en/index.html. 
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3. Para más información sobre los procedimientos de consentimiento durante la 
recopilación de datos, consúltese el Kit de Herramientas de Evaluación de 
Impacto (Impact Evaluation Toolkit) del Banco Mundial. 

4. Se puede encontrar más información sobre la asignación de los ID en el Kit de 
Herramientas de Evaluación de Impacto (Impact Evaluation Toolkit) del Banco 
Mundial. 

5. Para más información sobre las recomendaciones de la ciencia abierta en el 
contexto de la evaluación de impacto, consúltese Miguel et al. (2014). 

6. Existen otras técnicas. Véase, por ejemplo, Anderson (2008). 
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CAPÍTULO 14 


Divulgación de resultados y 
generación de impacto en las 
políticas públicas 


Una base de evidencia sólida para las políticas 
públicas 


Por fin se ha completado la ardua tarea de evaluar el programa desde el 
comienzo hasta el final, un esfuerzo de varios años que requirió recursos 
financieros y humanos considerables. Se han presentado los productos fina- 
les de la evaluación, entre ellos un informe de 200 páginas, junto con múlti- 
ples anexos. ¿Misión cumplida? 

En realidad, ahora se inicia una nueva fase, que consiste en asegurar que 
todo este esfuerzo rinda sus frutos y se traduzca en un impacto en las políticas. 
Las evaluaciones de impacto se realizan para rendir cuentas de las inversiones 
realizadas en el pasado e informar las decisiones de las políticas públicas hacia 
el futuro pensando en un desarrollo más costo-efectivo, de modo que los 
escasos recursos produzcan los mayores retornos sociales posibles. Esas deci- 
siones de política pública dependerán de un conjunto de factores, que abarcan 
desde la economía política hasta las posiciones ideológicas de los usuarios 
de la información. Sin embargo, las evaluaciones de impacto pueden y 
deben influir en las políticas públicas proporcionando una sólida base de evi- 
dencia que oriente los recursos hacia intervenciones efectivas y probadas. 
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Concepto clave 


Las evaluaciones de 
impacto deben 
responder a las 
preguntas relevantes 
de las políticas 
públicas con rigor, 
aportar evidencia 
práctica de manera 
oportuna a los 
principales 
interesados, y divulgar 
la evidencia de forma 
que sea fácilmente 
accesible y utilizable 
por parte de los 
responsables de las 
decisiones. 
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Desde las primeras etapas de un nuevo programa, incluso cuando este 
está siendo concebido, la evidencia de evaluaciones de impacto existentes 
debería desempeñar un rol central para fundamentar el diseño del programa 
y orientar el próximo conjunto de preguntas de la evaluación. 

Sin embargo, el proceso de influir en las políticas públicas no suele ocu- 
rrir de forma espontánea solo gracias a la generación de evidencia. En pri- 
mer lugar las evaluaciones de impacto deben responder a preguntas 
relevantes de las políticas públicas de manera rigurosa, presentando eviden- 
cia práctica a los principales interesados de manera oportuna. Sin embargo, 
puede que los responsables de las políticas y los administradores del pro- 
grama no tengan ni el tiempo ni la energía para ahondar en los detalles de un 
informe de 200 páginas, y procuren extraer las principales conclusiones y 
recomendaciones. La información generada a través de las evaluaciones de 
impacto tiene que estar organizada y divulgada de manera que sea fácil- 
mente accesible y utilizable para los encargados de la toma de decisiones. 

En este capítulo, se trata cómo la evaluación de impacto puede influir en 
las políticas públicas, los grupos clave a los que conviene llegar, y las estrate- 
gias para comunicar y divulgar información para un público focalizado de 
manera que la evaluación genere un impacto en las políticas públicas. 

El punto de partida para influir en las políticas es la selección de las pre- 
guntas relevantes de la evaluación que serán útiles para tomar decisiones de 
políticas públicas, como se señala en la primera parte de este libro. Durante 
las etapas iniciales del diseño de una evaluación de impacto, es probable que 
los responsables de las políticas y los evaluadores comiencen con una lista 
larga de preguntas. Estas preguntas deberían ser consensuadas con el princi- 
pal grupo de interesados y responsables de las decisiones que, eventualmente, 
utilizarán la evaluación de impacto para tomar decisiones. La lista larga suele 
ajustarse y mejorarse con el tiempo para incluir un número más limitado de 
preguntas bien formuladas que sean relevantes para las políticas públicas y 
que a su vez puedan responderse mediante una evaluación de impacto, utili- 
zando los métodos expuestos en la segunda parte de este libro. Lograr simul- 
táneamente que los responsables de las políticas definan las preguntas 
importantes y que el equipo de evaluación pondere la viabilidad técnica de 
responderlas es un primer paso crucial para influir en las políticas. 

Una vez que el programa haya comenzado, es probable que la evaluación de 
impacto produzca importantes insumos analíticos que pueden servir para fun- 
damentar las políticas mucho antes de que el programa y la evaluación de 
impacto hayan dado sus frutos. Un ejemplo habitual es el de las conclusiones de 
una encuesta de línea de base o de un análisis de los resultados a corto plazo. 
Las encuestas de línea de base a menudo producen los primeros datos exhaus- 
tivos y específicos de la población para un programa, y proporcionan estadisti- 
cas descriptivas que se pueden incorporar en el diseño del programa y en el 
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diálogo de políticas. Así como un programa puede tener una descripción gene- 
ral de su población focalizada a través de encuestas nacionales o estudios de 
diagnóstico, la encuesta de línea de base brinda la primera información deta- 
llada sobre subpoblaciones o zonas geográficas específicas donde el programa 
va a operar. Por ejemplo, un programa diseñado para mejorar la nutrición 
infantil a través de suplementos nutricionales puede tener estadísticas sobre las 
tasas de desnutrición crónica y desnutrición aguda a nivel nacional a partir de 
las encuestas existentes, pero la encuesta de linea de base puede proporcionar 
las primeras medidas de la situación nutricional y de los hábitos alimentarios 
del grupo de niños que el programa cubrirá en su área de trabajo. Este tipo de 
información puede ser valiosa para un diseño de intervención a la medida, 
y debe hacerse disponible para el equipo de políticas públicas de manera 
oportuna (idealmente antes de que se implemente la intervención) con el fin 
de influir en el diseño del programa. El recuadro 14.1 presenta un ejemplo 
de Mozambique. 


Recuadro 14.1: El impacto en las políticas públicas de un modelo 
innovador de educación preescolar en Mozambique 


(continuación del capítulo 1) 


En el capítulo 1 (recuadro 1.2) se presentó la 
evaluación de un programa de educación 
preescolar comunitario, de Save the 
Children, aplicado en Mozambique, la cua 
constituyó un insumo fundamental para las 
políticas de desarrollo infantil temprano a 
nivel nacional. Sin embargo, antes de que e 
programa finalizara, la evaluación generó 
información nueva y reveladora para e 
debate de las políticas en este ámbito en e 
país. La encuesta de línea de base arrojó las 
primeras medidas de los resultados de 
desarrollo infantil basadas en la población, 
utilizando pruebas especializadas de desa- 
rrollo infantil adaptadas al contexto de 
Mozambique, y recopiladas por personal 
especializado. A pesar de que los datos pro- 
venían de un grupo seleccionado de comuni- 
dades en una provincia de aquel país, las 
estadísticas de línea de base proporcionaron 
una primera imagen de los resultados de 
desarrollo infantil en el país, mostrando que 


muchos niños sufrían retrasos en diversos 
parámetros, desde lenguaje y comunicación 
hasta desarrollo cognitivo y socioemocional. 

La encuesta de línea de base fue 
presentada por el equipo de evaluación en 
seminarios y talleres, y se debatieron los 
resultados con responsables de las políticas 
de alto nivel, con donantes internacionales y 
con las principales partes interesadas 
provenientes de la comunidad de desarrollo 
infantil temprano (DIT). Los datos generados 
a través de la evaluación de impacto 
corroboraron la necesidad de destinar 
inversiones a este ámbito, y desempeñaron 
un rol catalítico para movilizar el apoyo a favor 
de la agenda de desarrollo infantil en el país. 
Una vez completada, la evaluación se divulgó 
através de diversos medios, entre ellos notas 
informativas de políticas, videos y blogs, 
algunos de los cuales han sido incorporados 
en el sitio web de la Iniciativa Internacional 
para la Evaluación de Impacto (3ie). 
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Algunas evaluaciones de impacto, sobre todo aquellas que dependen de 
fuentes de datos administrativos o de encuestas periódicas, pueden produ- 
cir resultados intermedios que retroalimentan al programa mientras este 
está siendo implementado. Estos resultados proporcionan información y 
recomendaciones valiosas sobre cómo los indicadores a lo largo de la trayec- 
toria causal cambian a lo largo del tiempo, lo que permite que se ajusten de 
manera correspondiente tanto la implementación del programa como la 
programación en el tiempo de las actividades de evaluación. Por ejemplo, si 
a mitad de un programa queda claro que no hay efectos en los resultados de 
corto plazo, puede que se aconseje implementar una evaluación operativa 
para detectar cuellos de botella y poner en marcha acciones correctivas. 
El plazo de la evaluación podría ajustarse de modo de evitar la realización 
de una costosa encuesta de seguimiento antes de que los resultados de la 
intervención hayan tenido la chance de producirse. En el ejemplo de la 
nutrición infantil, si los análisis de los datos administrativos sobre la distri- 
bución de los suplementos nutricionales demuestran que estos últimos no 
están llegando a los beneficiarios previstos, el equipo de políticas públicas 
puede recibir una alerta sobre la necesidad de revisar su cadena de suminis- 
tro. La encuesta de seguimiento para medir la estatura y el peso de los niños 
podría aplazarse hasta varios meses después de que el programa haya 
comenzado a funcionar de manera efectiva, puesto que no hay motivos para 
creer que el programa nutricional genere impactos antes si no estaba lle- 
gando a sus participantes. 

Las evaluaciones de impacto tienden a producir grandes volúmenes de 
información, que abarcan desde los fundamentos técnicos del diseño de 
evaluación hasta estadísticas descriptivas y análisis de impacto, junto con 
bases de datos, códigos estadísticos e informes. Es crucial que el equipo de 
evaluación realice un esfuerzo para documentar toda la información a lo 
largo del ciclo de evaluación y, en la medida de lo posible, divulgue la docu- 
mentación (no confidencial) técnica relevante en el dominio público, por 
ejemplo, a través de un sitio web especializado. Eventualmente, la credibili- 
dad de los resultados de la evaluación dependerá de la metodología y del 
rigor con que se haya implementado la evaluación. La plena transparencia 
fortalece la fiabilidad de la evaluación y su potencial para influir en las polí- 
ticas públicas. 

Si bien la completitud y la transparencia son cruciales, la mayoría de los 
consumidores de la información no ahondarán en detalles. Dependerá del 
equipo de evaluación elaborar un conjunto manejable de mensajes clave que 
resuma los resultados y recomendaciones más relevantes para las políticas 
públicas, y divulgar estos mensajes de forma congruente entre diferentes 
públicos. La programación de las actividades de divulgación también es 
esencial para generar un impacto en las políticas. A menos que el equipo de 
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políticas acuerde lo contrario, las rondas iniciales de presentaciones y con- 
sultas sobre los resultados de una evaluación deberían llevarse a cabo inter- 
namente, con el personal del programa, los gestores y los responsables de las 
políticas públicas. Un resultado prematuro filtrado al dominio público 
puede dañar la reputación de un programa entrañando perjuicios duraderos 
para el impacto de la evaluación en las políticas. 


Elaboración a la medida de una estrategia de 
comunicación para diferentes públicos 


Hay al menos tres públicos primarios para las conclusiones de una evalua- 
ción de impacto: el personal del programa y los administradores involucra- 
dos en el programa específico que se evalúa; los responsables de las políticas 
de alto nivel que utilizarán la evaluación para fundamentar las decisiones de 
financiamiento y de diseño de las políticas; y la comunidad de práctica, que 
en términos amplios abarca la comunidad académica, los responsables del 
desarrollo, la sociedad civil (incluidos los medios de comunicación) y los 
participantes en el programa. Cada uno de estos públicos tendrá diferentes 
intereses en los resultados de la evaluación y requerirá estrategias de comu- 
nicación elaboradas a su medida cuando se trata de conseguir el objetivo de 
servir de fundamento e influir en las políticas (cuadro 14.1). 

Técnicos y administradores. El primer público clave son los miembros del 
personal técnico y operativo, y los administradores que diseñaron e imple- 
mentaron el programa, así como los representantes de instituciones (como 
los ministerios o una institución de financiamiento) estrechamente asocia- 
dos con el proyecto. Estas personas normalmente serán las primeras en 
conocer los resultados de la evaluación, y elaborar comentarios sobre las 
interpretaciones y recomendaciones de la evaluación. 

Dado que esta suele ser la primera vez que los resultados ven la luz del día, 
es clave programar la divulgación de información entre estos interesados. Por 
un lado, es importante compartir los resultados de forma temprana, de modo 
que los responsables de las decisiones del programa puedan incorporar cam- 
bios y adoptar decisiones de políticas, como aumentar la escala de la inter- 
vención (o disminuirla) o ajustar los componentes del programa para mejorar 
el uso de los recursos y alcanzar un mayor impacto. Por otro lado, hay que 
hacer una advertencia contra el riesgo de compartir resultados demasiado 
preliminares basados en un análisis parcial o incompleto, dado que dichos 
resultados podrían estar sujetos a cambios. Su divulgación podría crear 
expectativas entre el personal del programa y precipitar decisiones de las 
políticas aún no maduras que podrían ser caras de revertir en el futuro. Por lo 
tanto, debería buscarse un equilibrio adecuado de puntualidad y completitud 
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Cuadro 14.1 


Participación de grupos clave en el impacto en las políticas: por qué, cuándo y cómo 


Personal y 
administradores del 
programa 


Responsables de las 
políticas de alto nivel 


Expertos en desarrollo, 
académicos, grupos de 
la sociedad civil 


¿Por qué? Se pueden convertir en Necesitan entender por qué Necesitan evidencia del 
defensores de la el tema es importante, impacto de los programas 
evaluación de impacto y cómo la evaluación de de desarrollo con el fin de 
del uso de evidencia. impacto puede ayudarles a tomar decisiones, diseñar 

tomar mejores decisiones nuevos programas y llevar 
y, en definitiva, lo que la a cabo investigación que 
evidencia les dice acerca de contribuya a mejorar vidas. 
hacia dónde deberían 

orientarse sus energías (y el 

financiamiento disponible). 

¿Cuándo? De manera temprana, De manera temprana, al De acuerdo con el programa 
incluso antes de que se definir las preguntas de la que se evalúe, los grupos 
implemente el programa, evaluación y antes de que de la sociedad civil y los 
y con interacciones esta comience y, de expertos del desarrollo 
continuas y frecuentes. nuevo, cuando se cuente pueden ser importantes 
Los datos de línea de base con los resultados finales. defensores locales. La 
se pueden utilizar para Es importante que los información debería 
elaborar la intervención a responsables de las divulgarse una vez que se 
la medida. Son los políticas públicas cuente con los resultados 
primeros en comentar los comprendan por qué se definitivos y estos hayan 
resultados de la lleva a cabo una evaluación sido aprobados por el 
evaluación. de impacto y cómo personal del programa y los 

pueden ayudarles los responsables de las 
resultados. políticas públicas. 

¿Cómo? Introducir el rol de la Están presentes en los Los eventos y foros 
evidencia en la elaboración talleres nacionales, y públicos, como seminarios 
de las políticas públicas en buscan reuniones directas y conferencias, documentos 
un taller para que los con el personal de nivel de trabajo, artículos en los 
administradores del superior para explicar el periódicos, cobertura en los 
programa participen en el trabajo. Instan a los medios y materiales 
diseño de la evaluación. encargados del programa, al basados en la red, son 
Efectuar un seguimiento personal técnico y a los medios para llegar a estas 
con reuniones en responsables de las políticas audiencias. 
momentos clave: de nivel medio a mantener 
inmediatamente después alos ministerios informados 
de la recopilación de datos acerca de la evaluación de 
de línea de base, luego de impacto. Cuando la 
recopilar resultados evidencia ha acabado, se 
intermedios y al final. presenta a los responsables 

de las políticas de nivel 
superior. Cuando sea 
posible, se incluyen análisis 
de costo-beneficio o costo- 
efectividad y sugerencias 
para los próximos pasos. 
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en la divulgación inicial de resultados con el equipo del proyecto. Esto suele 
cumplirse cuando el equipo de evaluación ha llevado a cabo un análisis 
exhaustivo y verificaciones de robustez, pero antes de que se formulen los 
resultados, la interpretación y las recomendaciones finales. 

Normalmente, al personal y alos encargados del programa les interesarán 
tanto los detalles técnicos de la metodología de evaluación como también el 
análisis y los elementos particulares de las conclusiones y recomendaciones 
presentadas al comienzo. El debate inicial sobre los resultados que se realice 
con este grupo puede prestarse para reuniones de estilo taller, con presenta- 
ciones del equipo de evaluación, y disponiendo de tiempo suficiente para 
responder a preguntas y comentarios de todas las partes. Este debate inicial 
suele enriquecer el análisis final, fundamenta la interpretación de resultados 
y contribuye a elaborar a la medida las recomendaciones finales, de modo 
que sean más idóneas para orientar los objetivos de las políticas del pro- 
grama. Los debates iniciales con el personal del programa y los administra- 
dores constituyen una buena oportunidad para intercambiar ideas sobre 
resultados inesperados o potencialmente polémicos, y proponer recomen- 
daciones de políticas públicas y respuestas anticipándose a la divulgación 
pública de la evaluación de impacto. 

Los resultados negativos (incluido el encontrar un impacto nulo) o impre- 
vistos pueden ser decepcionantes para el personal y los administradores del 
programa que han invertido tiempo y energía considerables, pero también 
contribuyen a la función crítica de instar a que se reformulen las políticas. 
Por ejemplo, si se descubre que el programa no ha alcanzado su objetivo pri- 
mario debido a dificultades en la implementación, se pueden adoptar medi- 
das para abordar esos ámbitos y el programa mejorado se puede volver a 
evaluar más tarde. Si el programa no produce impactos en el corto plazo o lo 
hace solamente en un subconjunto de resultados, y hay motivos para creer 
que se requiere más tiempo para alcanzar los resultados finales, la evaluación 
puede presentar y defender los resultados iniciales y se pueden planificar 
otras medidas en una fecha futura. Por último, si está claro que la interven- 
ción no consigue generar los beneficios previstos o está provocando un per- 
juicio inesperado, los administradores del programa pueden tomar medidas 
inmediatas para detener la intervención o reformular su diseño. De esta 
manera, cuando se divulgan los resultados de la evaluación, los responsables 
de las políticas a cargo del programa pueden anunciar medidas correctivas y 
formular respuestas con antelación, anticipándose a las preguntas difíciles 
que surgirán en los debates de políticas o en los medios. 

Responsables de las políticas de alto nivel. El segundo grupo clave son los 
responsables de las políticas de alto nivel, que adoptarán decisiones sobre la 
base de los resultados de las evaluaciones de impacto como, por ejemplo, si 
ampliar, mantener o disminuir el financiamiento para una intervención. 
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En este grupo se incluye el Poder Legislativo nacional, los presidentes y pri- 
meros ministros, ministros y secretarios principales, juntas de directores 
y/o donantes. Este grupo de partes interesadas suele contar con los resulta- 
dos de la evaluación una vez que estos son definitivos y han sido revisados 
por el personal y los administradores del programa, y aprobados por exper- 
tos técnicos externos. En esta etapa, el equipo de evaluación tendrá que cen- 
trarse en comunicar los resultados y las recomendaciones clave de manera 
asequible; los detalles técnicos de la evaluación tienen una importancia 
secundaria. A los responsables de las políticas de alto nivel les interesará la 
traducción de los impactos en valores económicamente significativos 
mediante análisis de costo-beneficio, o una comparación con las interven- 
ciones alternativas a través de análisis de costo-efectividad. Estos paráme- 
tros contribuirán a informar a los responsables de las decisiones acerca de si 
el programa es una manera fiable de invertir recursos limitados para impul- 
sar un objetivo de desarrollo importante. A los responsables de las políticas 
de alto nivel les puede interesar utilizar los resultados para promover su 
agenda política, como presionar a favor (o en contra) de una determinada 
política pública que la evaluación apoya (o no apoya). El equipo de evalua- 
ción puede colaborar con los expertos en comunicación para asegurar que 
los resultados y las recomendaciones relacionadas estén correctamente 
interpretados y que los mensajes de la estrategia de comunicación sigan ali- 
neados con las conclusiones de la evaluación. 

La comunidad profesional. El tercer grupo clave para alcanzar un impacto 
amplio de las políticas son los consumidores de la evaluación fuera del 
ámbito directo del programa y/o del contexto del país. Este grupo heterogé- 
neo comprende la comunidad profesional en sectores próximos a la evalua- 
ción, e incluye a los profesionales del desarrollo, académicos, la sociedad 
civil y los formuladores de políticas de otros países. Los profesionales del 
desarrollo más allá del programa específico pueden interesarse en utilizar 
los resultados de la evaluación para fundamentar el diseño de programas 
nuevos o existentes. A estos profesionales les interesarán tanto los detalles 
de la evaluación (métodos, resultados, recomendaciones) como las leccio- 
nes operativas y las recomendaciones que puedan contribuir a la implemen- 
tación de sus propios proyectos de forma más efectiva. Por otro lado, puede 
que ala comunidad académica le interese más la metodología, los datos y los 
hallazgos empíricos de la evaluación. 

En la sociedad civil destacan dos grupos clave, a saber: los medios y los 
participantes en el programa. Informar al público de los resultados de una 
evaluación a través de los medios de comunicación puede desempeñar un rol 
clave para la rendición de cuentas en materia de gasto público, obtener el 
apoyo público para las recomendaciones de la evaluación y llevar a cabo polí- 
ticas efectivas. Esto es particularmente cierto en cuanto a las políticas nuevas 
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e innovadoras, cuyo resultado era inicialmente incierto u objeto de polémicas 
en el debate de políticas. Si la evaluación arroja una luz empírica sobre lo que 
hasta ahora había sido un debate en gran parte teórico o ideológico, puede 
convertirse en un poderoso instrumento para el cambio de políticas. 

Por último, los esfuerzos de divulgación deberían incluir a quienes parti- 
cipan del programa. Los participantes han invertido su tiempo y energía en 
el programa y puede que hayan dedicado un tiempo considerable a propor- 
cionar información para los fines de la evaluación. Asegurar que tengan 
acceso a los resultados de la evaluación y que permanezcan informados a 
propósito de ello es un gesto pequeño pero significativo que puede contri- 
buir a mantener su interés en el programa y a su disposición a tomar parte 
en futuras evaluaciones. 


Divulgación de los resultados 


A continuación, se aborda una variedad de estrategias que se pueden consi- 
derar para informar a estos grupos clave y generar un impacto en las políti- 
cas. Idealmente, las primeras etapas de la planificación de la evaluación 
incluirán una estrategia de divulgación o de impacto en las políticas. Esta 
estrategia debería acordarse desde el comienzo, y debería especificar clara- 
mente el objetivo de la evaluación para las políticas (por ejemplo, amplia- 
ción de un modelo de intervención más costo-efectivo), el público clave al 
que la evaluación intenta llegar, las estrategias de comunicación usadas y un 
presupuesto para realizar actividades de divulgación. Si bien el formato y 
contenido de las actividades y de los productos de la divulgación variarán 
según cada caso, en el resto de este capítulo se presentan algunas sugeren- 
cias y orientaciones generales. El recuadro 14.2 incluye una lista de algunos 
instrumentos de extensión y divulgación. 

Los informes suelen ser el primer medio para divulgar el conjunto com- 
pleto de resultados de la evaluación. Se recomienda que estos informes ten- 
gan una extensión moderada, entre 30 y 50 páginas, e incluyan un resumen 
de una página, o menos, y un resumen ejecutivo de dos a cuatro páginas con 
los principales resultados y recomendaciones. Los detalles técnicos, la 
documentación relacionada y el análisis de apoyo como pruebas de robustez 
y falsificación se pueden presentar en anexos o apéndices. 

La publicación de una evaluación de impacto como documento de tra- 
bajo académico y/o artículo en una revista científica arbitrada puede ser una 
medida final laboriosa pero muy provechosa para presentar los resultados 
de la evaluación. Las rigurosas revisiones de pares requeridas para el pro- 
ceso de publicación proporcionarán una retroalimentación valiosa que 
mejorará el análisis y la interpretación de los resultados, y la publicación 
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Recuadro 14.2: Instrumentos de extensión y divulgación 


A continuación se listan algunos ejemplos de medios para divulgar las evaluaciones de 

impacto: 

e Exposiciones sobre el programa y resultados de la evaluación. 

e Videos donde los beneficiarios dan su opinión del programa y revelan cómo afecta sus 
vidas. 

e Breves notas informativas en las cuales se explica la evaluación y se resumen las reco- 
mendaciones de políticas. 

e Blogs de los investigadores y responsables de las políticas que explican la importancia de 
la evaluación. 

e Informes completos, después de recibir los resultados finales, con exhaustivos resume- 
nes ejecutivos para asegurar que los lectores entiendan rápidamente las principales 
conclusiones. 


e Invitaciones para los medios que permitan a los periodistas ver el programa en acción y 
los resultados del informe. 


puede transmitir una clara señal a los responsables de las políticas sobre la 
calidad y credibilidad de los resultados de una evaluación. 

Sobre la base de la estrategia de divulgación acordada, los informes y 
documentos se pueden publicar en diversos medios, entre ellos, el sitio web 
del programa, el sitio web de la institución evaluadora, como parte de una 
serie de documentos de trabajo, revistas académicas arbitradas y libros. 

Si bien los informes de evaluación y los documentos académicos sirven 
como fundamento para la estrategia de divulgación, su alcance entre un 
público más amplio fuera de la comunidad profesional y académica puede ser 
limitado debido a su extensión y a su lenguaje técnico. Puede que el equipo de 
evaluación, quizás en colaboración con los expertos en comunicación, consi- 
dere útil producir artículos breves, escritos al estilo de un relato o con un estilo 
periodístico, con un lenguaje claro y sencillo para llegar a públicos más amplios. 
Se pueden dar a conocer artículos breves bajo la forma de notas informativas 
de políticas, boletines e infografías. En estas publicaciones, será particular- 
mente útil eliminar la jerga técnica y traducir los resultados en representacio- 
nes visualmente atractivas, con imágenes, esquemas y gráficos (recuadro 14.3). 

Los equipos de evaluación pueden generar un conjunto de presentacio- 
nes que acompañen a los informes escritos y los artículos breves. Las 
presentaciones deberían elaborarse a la medida del público específico. Un 
buen punto de partida es producir una presentación técnica para el equipo 
del proyecto y el público académico, y otra presentación más breve y menos 
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Recuadro 14.3: La divulgación efectiva de las evaluaciones de 
impacto 


Diversas publicaciones exponen los resultados de las evaluaciones de impacto en un 

formato accesible y sencillo. Entre ellos se incluyen dos actualizaciones con un foco regional. 

e Los resultados de la evaluación de impacto de programas en América Latina y el Caribe 
se recogen en el Panorama de la efectividad en el desarrollo (DEO, por sus siglas en 
inglés), publicado anualmente por la Oficina de Planificación Estratégica y Efectividad en 
el Desarrollo del Banco Interamericano de Desarrollo (BID). Los resultados se resumen 
en artículos breves, de fácil lectura, que incluyen resúmenes infográficos de una página 
que explican la pregunta fundamental de la evaluación de impacto, los métodos, resulta- 
dos y recomendaciones de políticas, utilizando gráficos e íconos que permiten que los 
lectores entiendan los mensajes clave de forma muy rápida e intuitiva. El DEO de 2014 
incluye los resultados de evaluaciones de impacto de programas tan diversos como el 
turismo en Argentina, la capacitación laboral en República Dominicana, la productividad 
agrícola en Bolivia y las orquestas juveniles en Perú. 

e Africa Impact Evaluation Update, del Banco Mundial, recoge la última evidencia de la región. 
En 2013, esta publicación se centró en el género y en 2014, en la agricultura y la tierra. 


Fuentes: http://deo.iadb.org y http://www.worldbank.org. 


técnica para los responsables de las políticas y la sociedad civil. Si bien las 
principales conclusiones y recomendaciones para las políticas serán las mis- 
mas, la estructura y el contenido de estas dos presentaciones tendrán dife- 
rencias importantes. La presentación técnica debería centrarse en afianzar 
la credibilidad de los resultados mediante una exposición de los métodos de 
evaluación, los datos y el análisis, antes de llegar a los resultados y recomen- 
daciones. Una presentación dirigida a los responsables de las políticas debe- 
ría poner de relieve el problema del desarrollo que la intervención se 
propone abordar y las implicaciones prácticas de las conclusiones, y tratar 
de forma más superficial los detalles técnicos. 

Para aprovechar el cada vez mayor acceso a Internet de los países en 
desarrollo y las alternativas de bajo costo para producir multimedia, los 
equipos de evaluación también pueden contemplar una gama de medios 
para divulgar las conclusiones de la evaluación, entre ellos: los sitios web o 
las grabaciones en audio y video. Los videoclips de corta duración pueden 
ser un medio poderoso para transmitir ideas complejas a través de imáge- 
nes y sonido, dejando que la historia de la evaluación se despliegue de una 
manera que sea más rápida y más plenamente comprensible que la que 
utilizan los típicos medios impresos (recuadro 14.4). 
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Por último, armado con una variedad de productos de divulgación, el 
equipo de evaluación debe mostrarse proactivo en la divulgación de estos 
productos a los consumidores dentro del programa, del gobierno y de la 
comunidad profesional más amplia, de modo que la información llegue a los 
usuarios previstos y pueda ser asimilada en el proceso de toma de decisiones 
y el debate de políticas públicas. El proceso de divulgación se lleva a cabo 
mediante reuniones presenciales entre el equipo de evaluación y el adminis- 
trador del programa, a través del cabildeo con responsables de las políticas 
de alto nivel, así como también de presentaciones en seminarios y conferen- 
cias donde los académicos y miembros de la comunidad profesional se 
reúnen para informarse acerca de los últimos avances en la investigación y 
la evaluación del desarrollo, mediante entrevistas y programas de noticias 
en la radio y la televisión y, actualmente cada vez más, a través de Internet. 
Los blogs y las redes sociales en particular pueden ser maneras costo- 
efectivas de llegar a grandes cantidades de usuarios potenciales y para 
orientar a los lectores hacia un conjunto de productos disponibles relacio- 
nados con una determinada evaluación (recuadro 14.5). Si bien las estrate- 
gias particulares variarán según cada caso, se recomienda una vez más 
planificar y presupuestar los medios y las actividades de divulgación con 
antelación, de modo que los resultados de la evaluación puedan llegar a sus 
públicos previstos de manera rápida y efectiva, de modo que así se pueda 
maximizar el impacto en las políticas. 


Recuadro 14.4: Divulgación de las evaluaciones de impacto 


en línea 


A continuación, se muestran algunos ejemplos destacados de divulgación en línea de los 
resultados de una evaluación de impacto: 
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La Iniciativa Internacional para la Evaluación de Impacto (Sie) organiza la evidencia de las 
evaluaciones de impacto por sector, e incluye notas informativas de política, revisiones 
sistemáticas y mapas de brechas de evidencia. 


El Abdul Latif Jameel Poverty Action Lab (J-Pal) divulga evidencia de evaluaciones de 
impacto realizadas por investigadores asociados, y añade notas informativas de políticas, 
análisis de costo-efectividad y enlaces con documentos académicos. 

La Iniciativa de Desarrollo de la Evaluación de Impacto (DIME, por sus siglas en inglés) 
del Banco Mundial presenta notas breves, boletines e informes con los resultados de las 
evaluaciones de impacto de los proyectos de dicha institución. 

El Fondo Estratégico para la Evaluación de Impacto (SIEF) del Banco Mundial incluye 
videos, notas breves y entrevistas. 
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Recuadro 14.5: Blogs de evaluación de impacto 

Esta lista contiene ejemplos de blogs que recogen con regularidad los resultados de las 
evaluaciones de impacto: 

e El blog de Impacto en el Desarrollo del Banco Mundial. 

e El blog de Efectividad en el Desarrollo del BID. 


e El blog de Innovations for Poverty Action. 


Otros recursos 


e Para material de apoyo relacionado con el libro y para hipervinculos de 
más recursos, se recomienda consultar el sitio web de la Evaluación de 
Impacto en la Práctica (http://www.worldbank.org/ieinpractice). 


e La Iniciativa Internacional para la Evaluación de Impacto (3ie) y el 
Instituto de Desarrollo de Ultramar (ODI, por sus siglas en inglés) han 
desarrollado un kit de herramientas de impacto de políticas en línea con 
el fin de contribuir a divulgar y utilizar la evidencia de las evaluaciones de 
impacto en la toma de decisiones. 
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Cuarta parte 


CÓMO OBTENER 
DATOS PARA UNA 
EVALUACIÓN DE 
IMPACTO 


La cuarta parte de este libro proporciona orientación sobre cómo obtener datos 
para una evaluación de impacto, lo que comprende la elección de la muestra y 
cómo encontrar fuentes de datos adecuadas. 


El capítulo 15 trata de cómo extraer una muestra de una población de interés 
y cómo llevar a cabo cálculos de potencia para determinar el tamaño adecuado 
de la muestra de la evaluación de impacto. El capítulo se centra en la des- 
cripción de la idea fundamental de los muestreos y los cálculos de potencia. 


También destaca los elementos que los responsables de las políticas tienen que 
proporcionar al equipo de investigación o a los expertos técnicos responsables 
de elaborar los muestreos y los cálculos de potencia. 


En el capítulo 16 se analizan las diversas fuentes de datos que pueden utilizar 
las evaluaciones de impacto. Allí se destaca cuándo se pueden usar las fuentes 
de los datos existentes, entre ellos los datos administrativos. Dado que nume- 
rosas evaluaciones requieren la recopilación de nuevos datos, en el capítulo se 
abordan los pasos necesarios para recopilar los datos de una nueva encuesta. 
Esto implica determinar quién recopilará los datos, desarrollar instrumentos de 
recopilación de datos y realizar pruebas piloto, llevar a cabo el trabajo de campo 
y de control de calidad, y procesar y almacenar datos. 


En el capítulo 17 se presentan conclusiones de la totalidad del libro. Allí se revisan 
brevemente los elementos centrales de una evaluación de impacto bien dise- 
ñada, y se proponen algunos consejos para mitigar los riesgos habituales en la 
realización de una evaluación de impacto. También se ofrecen algunas perspecti- 
vas del reciente aumento del uso de evaluaciones de impacto y otras iniciativas 
de institucionalización relacionadas. 


CAPÍTULO 15 


La elección de una muestra 


El muestreo y los cálculos de potencia 


Una vez que se ha elegido el método para seleccionar el grupo de compara- 
ción y estimar el contrafactual, uno de los próximos pasos consiste en deter- 
minar qué datos se precisarán, y la muestra necesaria para estimar con 
exactitud las diferencias de los resultados entre el grupo de tratamiento y el 
grupo de comparación. En este capítulo, se analizará cómo se puede extraer 
una muestra de una población de interés (muestreo) y cómo se puede deter- 
minar el tamaño que debe tener la muestra para proporcionar estimaciones 
precisas del impacto del programa (cálculos de potencia). El muestreo y 
los cálculos de potencia requieren habilidades técnicas específicas y se les 
suelen encargar a un experto especializado. En este capítulo, se describen 
los elementos básicos de la realización de muestreos y cálculos de potencia, 
y se destacan los elementos que los responsables de las políticas deben 
poder proveer a los expertos técnicos. 


Elaboración de una muestra 


El muestreo es el proceso de extraer unidades de una población de interés 
para estimar las características de la población. Suele ser necesario, dado que, 
normalmente, no es posible observar y medir directamente los resultados 
para toda la población de interés. Por ejemplo, si se desea conocer la altura 
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promedio de los niños menores de 2 años en un país, sería muy difícil, costoso 
y lento medir a todos los niños de la población. En cambio, se puede utilizar 
una muestra de niños extraída de la población para inferir las características 
promedio de esa población (gráfico 15.1). 

El proceso mediante el cual se extrae una muestra de la población de 
interés es crucial. Los principios de muestreo sirven de orientación para 
extraer muestras representativas. En la práctica, hay que seguir tres grandes 
pasos para extraer una muestra: 


1. Determinar la población de interés. 
2. Definir un marco muestral. 


3. Extraer el número de unidades requeridas por los cálculos de potencia 
del marco muestral. 


En primer lugar, se debe definir claramente la población de interés. Esto 
requiere especificar con precisión la unidad en la población de interés para 
la cual se medirán los resultados, y detallar con claridad la cobertura geo- 
gráfica o cualquier otro atributo pertinente que caracterice a la población 
de interés. Por ejemplo, si se está gestionando un programa de desarrollo 
infantil temprano, puede que resulte de interés medir el impacto del pro- 
grama en los resultados cognitivos de los niños de entre 3 y 6 años en todo 
el país, solo para los niños que viven en zonas rurales o solo para los niños 
matriculados en preescolar. 


Gráfico 15.1 Uso de una muestra para inferir las características promedio de 
una población de interés 


Población de interés 4 


Inferir caracteristicas 


de la población sobre 
la base la muestra 


Muestra 


La evaluación de impacto en la práctica 


En segundo lugar, una vez que se haya definido la población de interés, 
se debe establecer un marco muestral. El marco muestral es la lista más 
exhaustiva que se puede obtener de las unidades en la población de interés. 
Idealmente, el marco muestral debería coincidir exactamente con la 
población de interés. Un censo totalmente actualizado de la población de 
interés constituiría un marco muestral ideal. En la práctica, se suelen utili- 
zar como marcos muestrales las listas existentes, como los censos de pobla- 
ción, los censos de instalaciones o los registros de inscritos. 

Se requiere un marco muestral adecuado para asegurar que las conclu- 
siones a las que se llegue mediante el análisis de una muestra se puedan 
generalizar para el conjunto de la población. De hecho, un marco muestral 
que no coincida exactamente con la población de interés crea un sesgo de 
cobertura, como lo ilustra el gráfico 15.2. Si se produce un sesgo de cober- 
tura, los resultados de la muestra no tienen validez externa para el conjunto 
de la población de interés sino únicamente para la población incluida en el 
marco muestral. La medida en que las estadísticas calculadas a partir de la 
muestra se pueden generalizar a toda la población de interés depende de la 
magnitud del sesgo de cobertura, es decir: de la falta de coincidencia entre el 
marco muestral y la población de interés. 

Los sesgos de cobertura constituyen un riesgo, y la creación de marcos 
muestrales requiere un esfuerzo riguroso. Por ejemplo, los datos del censo 
pueden contener la lista de todas las unidades de una población. Sin 
embargo, si ha transcurrido demasiado tiempo entre el censo y el momento 


Gráfico 15.2 Un marco muestral válido cubre el conjunto de la población 
de interés 


Marco muestral 
válido 


Marco muestral 
no válido 


Población 
de interés 
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Concepto clave 

Un marco muestral es 
la lista más exhaustiva 
que se puede obtener 
de las unidades en la 
población de interés. 
Se produce un sesgo 
de cobertura cuando 
el marco muestral no 
corresponde 
perfectamente a la 
población de interés. 
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Concepto clave 


El muestreo es el 
proceso por el cual las 
unidades se extraen de 
un marco muestral. El 
muestreo probabilístico 
asigna una probabili- 
dad bien definida a 
cada unidad del marco 
muestral. 
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en que se recopilaron los datos de la muestra, el marco muestral ya no 
estará actualizado. Además, los datos del censo pueden no contener sufi- 
ciente información sobre atributos específicos para construir un marco 
muestral. Si la población de interés está compuesta por niños que asisten a 
nivel inicial, y el censo no incluye datos sobre la matrícula preescolar, se 
requerirían datos complementarios de matrícula o registros de los estable- 
cimientos educativos. 

Una vez identificada la población de interés y un marco muestral, es 
necesario elegir un método para elaborar la muestra. Se pueden utilizar 
diversos procedimientos alternativos. 

Los métodos de muestreo probabilístico son los más rigurosos, dado 
que asignan una probabilidad bien definida para cada unidad del marco 
muestral. Los tres principales métodos de muestreo probabilístico son los 
siguientes: 


e Muestreo aleatorio. Todas las unidades de la población tienen exacta- 
mente la misma probabilidad de ser extraidas.! 


e Muestreo aleatorio estratificado. La población se divide en dos grupos 
(por ejemplo, hombres y mujeres) y se lleva a cabo un muestreo aleatorio 
en cada grupo. Como consecuencia, todas las unidades en cada grupo 
(o estrato) tienen la misma probabilidad de ser extraídas. Siempre y 
cuando todos los grupos sean lo suficientemente grandes, el muestreo 
estratificado permite formular inferencias acerca de los resultados 
no solo a nivel de la población, sino también dentro de cada grupo. 
El muestreo estratificado es útil cuando se quiere elaborar una muestra 
de los subgrupos pequeños en la población (por ejemplo, las minorías) 
con el fin de estudiarlos más en detalle. La estratificación es esencial para 
las evaluaciones que buscan comparar los impactos del programa entre 
esos subgrupos. 


e Muestreo de clusters. Las unidades se agrupan en clusters (conglomerados) 
y se extrae una muestra aleatoria de los mismos. Posteriormente, o todas 
las unidades en esos clusters constituyen la muestra, o bien se extrae un 
cierto número de unidades del cluster de forma aleatoria. Esto significa 
que cada cluster tiene una probabilidad bien definida de ser seleccionado y 
las unidades dentro de un cluster seleccionado también tienen una proba- 
bilidad bien definida de ser extraídas. 


En el contexto de una evaluación de impacto, el procedimiento para 
extraer una muestra a menudo está determinado por las reglas de elegibili- 
dad del programa que se evalúa. Como se verá en el debate sobre el tamaño 
de la muestra, si la unidad viable más pequeña de implementación es 
más grande que la unidad de observación, la asignación aleatoria de los 
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beneficios creará clusters. Por este motivo, el muestreo de clusters aparece a 
menudo en los estudios de evaluaciones de impacto. 

El muestreo no probabilístico puede provocar graves errores de muestreo. 
Por ejemplo, supóngase que se emprende una encuesta nacional pidiendo a 
un grupo de entrevistadores que recopilen datos de los hogares de las 
viviendas más próximas a la escuela en cada pueblo. Cuando se utiliza un 
procedimiento de muestreo no probabilístico de este tipo, es probable que 
la muestra no sea representativa del conjunto de la población de interés. 
Concretamente, se producirá un sesgo de cobertura, dado que las viviendas 
remotas no serán estudiadas. 

Es necesario prestar mucha atención al marco muestral y al procedi- 
miento de muestreo para establecer si los resultados obtenidos de una 
determinada muestra se pueden generalizar al conjunto de la población de 
interés. Aun cuando el marco muestral tenga perfecta cobertura y se utilice 
un procedimiento de muestreo probabilístico, los errores de no muestreo 
también pueden afectar la validez interna y externa de la evaluación de 
impacto. Los errores de no muestreo se tratan en el capítulo 16. Por último, 
en ocasiones se observa una confusión entre el muestreo aleatorio y la asig- 
nación aleatoria. En el recuadro 15.1 se explica con claridad que ambos son 
muy diferentes. 

En el resto de este capítulo, se examina la importancia que entraña el 
tamaño de la muestra para la precisión de las evaluaciones de impacto. 
Como se verá con mayor exactitud, se requieren muestras relativamente 


Recuadro 15.1: El muestreo aleatorio no es suficiente para la 


evaluación de impacto 


A veces se produce una confusión entre el 
muestreo aleatorio y la asignación aleatoria. 
¿Qué pasaría si alguien comenta que está 
implementando una evaluación de impacto 
entrevistando a una muestra aleatoria de 
participantes y no participantes? Supóngase 
que observa a un grupo de individuos que 
participan de un programa de empleo y a un 
grupo de individuos que no participan en el 
programa. ¿Qué pasaría si se tomara una 
muestra aleatoria de cada uno de estos dos 
grupos? El primer gráfico ilustra que se 
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obtendría una muestra aleatoria de partici- 
pantes y una muestra aleatoria de no partici- 
pantes. Si los participantes y los no 
participantes tienen diferentes caracteristi- 
cas, también lo tendrá la muestra de partici- 
pantes y no participantes. El muestreo 
aleatorio no hace que dos grupos no compa- 
rables sean comparables y no proporciona 
validez interna para la evaluación de impacto. 
Este es el motivo por el que el muestreo 
aleatorio no es suficiente para la evaluación 
de impacto. 


Continúa en la página siguiente. 
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Recuadro 15.1: El muestreo aleatorio no es suficiente para la evaluación de impacto (continúa) 


Gráfico B15.1.1 Muestreo aleatorio entre grupos no comparables de participantes y 
no participantes 


Participantes de un programa 
<>" 


Como deberia quedar claro a partir del 
debate que se desarrolla en la segunda 
parte, la asignación aleatoria de los beneficios 
de un programa es diferente del muestreo 
aleatorio. El proceso de asignación aleatoria 
parte de una población de interés elegible y 
utiliza un procedimiento de aleatorización 
para asignar las unidades (que normalmente 
son personas o grupos de personas, como 
niños en una escuela) de la población 
elegible a un grupo de tratamiento que será 
objeto de una intervención, y a un grupo de 


No participantes 


comparación que no lo será. El proceso de 
aleatorización de un programa que se exhibe 
en el gráfico B15.1.2 es diferente del proceso 
de muestreo aleatorio descrito en el gráfico 
B15.1.1. Como se señaló en la segunda 
parte, cuando la asignación aleatoria está 
bien implementada, contribuye a la validez 
interna de la evaluación de impacto. El 
muestreo aleatorio puede ser útil para 
asegurar la validez externa, en la medida en 
que la muestra se extrae aleatoriamente de 
la población de interés. 


Continúa en la página siguiente. 
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Recuadro 15.1: El muestreo aleatorio no es suficiente para la evaluación de impacto (continúa) 


Gráfico B15.1.2 Asignación aleatoria de los beneficios de un programa entre un 
grupo de tratamiento y un grupo de comparación 


Población elegible 


Grupo de tratamiento Grupo de comparación 
(participantes del programa) (no participantes del programa) 


más grandes para obtener estimaciones precisas de las características de la 
población. También se requieren muestras más grandes para poder obtener 
estimaciones precisas de las diferencias entre grupos de tratamiento y de 
comparación, es decir, para estimar el impacto de un programa. 


La decisión sobre el tamaño de la muestra de 
una evaluación de impacto: cálculos de potencia 


Como ya se señaló, el muestreo describe el proceso para elaborar una 
muestra de unidades de una población de interés a fin de estimar las carac- 
terísticas de esa población. Las muestras más grandes dan estimaciones más 
precisas de las características de la población. ¿De qué tamaño, exacta- 
mente, tienen que ser las muestras para una evaluación de impacto? 
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Concepto clave 


Los cálculos de 
potencia proporcionan 
un indicador de la 
muestra más pequeña 
con la que es posible 
estimar con precisión 
el impacto de un 
programa; a saber, la 
muestra más pequeña 
que permitirá detectar 
diferencias significati- 
vas en los resultados 
entre los grupos de 
tratamiento y 
comparación. 
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Los cálculos para determinar el tamaño de la muestra se denominan cálcu- 
los de potencia. Aquí se analiza la idea básica que subyace a los cálculos de 
potencia a partir del caso más sencillo, a saber: una evaluación realizada 
utilizando un método de asignación aleatoria, para probar la efectividad de 
un programa en relación con un grupo de comparación que no recibe una 
intervención, y suponiendo que el incumplimiento no es un problema.? 
Al final del capítulo, se abordan brevemente otras consideraciones más allá 
de este caso sencillo. 


El fundamento de los cálculos de potencia 


Los cálculos de potencia indican el tamaño mínimo de la muestra que es 
necesario para llevar a cabo una evaluación de impacto y para responder de 
forma convincente ala pregunta de interés para las políticas. Concretamente, 
los cálculos de potencia se pueden utilizar para: 


e Evaluar si las bases de datos existentes son suficientemente grandes 
para llevar a cabo una evaluación de impacto. 


e Evitar recopilar pocos datos. Si la muestra es demasiado pequeña, puede 
que no sea posible detectar un impacto positivo -aunque existiera- y, por 
lo tanto, se puede llegar a la conclusión de que no ha tenido efecto. Esto 
podría provocar una decisión de política para eliminar el programa, lo 
cual sería perjudicial. 


e Contribuir a tomar decisiones a propósito del tamaño adecuado de la 
muestra. Los tamaños más grandes de la muestra proporcionan estima- 
ciones más precisas de los impactos del programa, pero la recopilación de 
información puede ser muy onerosa. Los cálculos de potencia proporcio- 
nan insumos clave para evaluar el equilibrio entre los costos requeridos 
para recopilar más datos y los beneficios de una mayor precisión en la 
evaluación de impacto. 


Los cálculos de potencia constituyen una indicación de la muestra más 
pequeña (y el presupuesto más bajo) con el que es posible medir el 
impacto de un programa; es decir, la muestra más pequeña que permitirá 
detectar diferencias significativas en los resultados entre los grupos de 
tratamiento y comparación. Por lo tanto, los cálculos de potencia son 
cruciales para determinar cuáles son los programas que tienen éxito y 
cuáles no. 

Como se señaló en el capítulo 1, la pregunta básica de la evaluación de 
impacto es: ¿Cuál es el impacto o efecto causal de un programa en un resul- 
tado de interés? La sencilla hipótesis incorporada en esa pregunta puede ser 
reformulada de la siguiente manera: ¿El impacto del programa es diferente 
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de cero? En el caso de la asignación aleatoria, responder a esta pregunta 
requiere dos pasos: 


1. Estimar los resultados promedio para los grupos de tratamiento y 
comparación. 


2. Valorar si existe una diferencia entre el resultado promedio del grupo de 
tratamiento y el resultado promedio del grupo de comparación. 


A continuación, se analizará cómo calcular los resultados promedio para 
cada grupo, y luego, cómo comprobar si hay una diferencia entre los dos 


grupos. 


Estimación de resultados promedio para los grupos de 
tratamiento y comparación 


Supóngase que se debe estimar el impacto de un programa de nutrición en 
el peso de los niños a los 2 años, y que hay 200.000 niños elegibles para el 
programa. Del total de niños elegibles, 100.000 fueron asignados de forma 
aleatoria para participar en el programa. Los 100.000 niños elegibles que no 
fueron asignados aleatoriamente al programa sirven como grupo de compa- 
ración. Como primer paso, habrá que estimar el peso promedio de los niños 
que participaron y de los que no participaron. 

Para determinar el peso promedio de los niños que participaron, se 
podría pesar a cada uno de los 100.000 niños participantes y luego calcu- 
lar el promedio. Desde luego, sería un procedimiento sumamente costoso. 
Afortunadamente, no es necesario pesar a cada niño. El promedio se 
puede estimar utilizando el peso promedio de una muestra extraída de la 
población de los niños que participan. Cuantos más niños haya en 
la muestra, más cerca estará el promedio estimado del promedio real. 
Cuando una muestra es pequeña, el peso promedio constituye una esti- 
mación muy imprecisa del promedio en la población. Por ejemplo, 
una muestra de dos niños no dará una estimación precisa. En cambio, una 
muestra de 10.000 niños producirá una estimación más precisa mucho 
más cercana al verdadero peso promedio. En general, cuantas más obser- 
vaciones haya en la muestra, más precisas serán las estadísticas obtenidas 
de la muestra (gráfico 15.3).* 

Por lo tanto, se sabe que con una muestra más grande se obtendrá una 
imagen más exacta de la población de los niños que participan. Lo mismo 
ocurrirá con los niños que no participan: a medida que crece el tamaño 
de la muestra de estos últimos, se sabe con mayor precisión cómo es esa 
población. ¿Pero por qué habría esto de importar? Si se puede estimar el 
resultado promedio (el peso) de los niños que participan y no participan 
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Gráfico 15.3 Una muestra más grande tiene más probabilidades de 
parecerse a la población de interés 


Una muestra 
pequeña 


Población de interés 
Una muestra 


grande 


con más precisión, también se podrá saber con más precisión la diferen- 
cia de peso entre ambos grupos, y eso es el impacto del programa. Dicho 
de otra manera, si solo se tiene una idea vaga del peso promedio de los 
niños en los grupos de pequeños que participan (tratamiento) y que no 
participan (comparación), ¿cómo se podrá tener una idea precisa de la 
diferencia de peso de los dos grupos? La verdad es que no se puede. En 
la siguiente sección, se examina esta idea de una manera ligeramente 
más formal. 


Comparación de los resultados promedio entre los grupos de 
tratamiento y comparación 


Una vez que se haya estimado el resultado promedio (el peso) del grupo 
de tratamiento (los niños que participan seleccionados por asignación 
aleatoria) y el grupo de comparación (los niños que no participan seleccio- 
nados por asignación aleatoria), se puede proceder a determinar si los dos 
resultados son diferentes. Esta parte está clara: se restan los promedios y 
se calcula la diferencia. En términos estadísticos, la evaluación de impacto 
pone a prueba la hipótesis nula (o por defecto) en contraste con la hipótesis 
alternativa. 
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La hipótesis nula es la hipótesis de que el programa no tiene un impacto. 
Se expresa como: 


H impacto o diferencia entre el resultado en el grupo de tratamiento y 
comparación = 0. 


H : impacto o diferencia entre el resultado en el grupo de tratamiento y 
comparación z 0. 


Imagínese que en un ejemplo de un programa de nutrición se comienza 
con una muestra de dos niños tratados y dos niños de comparación. Con una 
muestra tan pequeña, la estimación del peso promedio de los niños tratados 
y los niños de comparación y, por lo tanto, la estimación de la diferencia 
entre los dos grupos, no será demasiado fiable. Puede verificarse esto extra- 
yendo diferentes muestras de dos niños del grupo de tratamiento y dos 
niños del grupo de comparación. Lo que se encontrará es que el impacto 
estimado del programa varía mucho. 

Al contrario, imagínese que se comienza con una muestra de 1.000 
niños tratados y 1.000 niños del grupo de comparación. Como se señaló, las 
estimaciones del peso promedio de ambos grupos serán mucho más preci- 
sas. Por lo tanto, la estimación de la diferencia entre los dos grupos también 
lo será. 

Por ejemplo, figúrese que se observa que el peso promedio en la muestra 
de los niños del tratamiento (que participan) es de 12,2 kilos, y el promedio 
de los niños en la muestra de comparación (que no participan) es de 12,0 
kilos. La diferencia entre ambos grupos es de 0,2 kilos. Si estas cifras corres- 
pondieran a muestras de dos observaciones cada una, no se sabría bien si el 
impacto del programa es verdaderamente positivo porque esos 0,2 kilos 
podrían deberse a la falta de precisión en las estimaciones. Sin embargo, 
si estas cifras provienen de muestras de 1.000 observaciones cada una, 
aumentaría la confianza de que se acercan bastante al verdadero impacto 
del programa, que en este caso sería positivo. 

Por lo tanto, la pregunta clave es: ¿Exactamente qué tamaño debe tener 
la muestra para permitirnos saber que un impacto estimado positivo se 
debe al verdadero impacto del programa y no a una falta de precisión en las 
estimaciones? 


Dos errores potenciales en las evaluaciones de impacto 


Cuando se prueba si un programa tiene impacto, se pueden cometer dos 
tipos de errores. Se comete un error de tipo I si una evaluación concluye que 
el programa ha tenido impacto, cuando en realidad no lo ha tenido. En el 
caso de la intervención hipotética en nutrición, esto ocurriría si usted, como 
miembro del equipo de evaluación, concluyera que el peso promedio de los 
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Concepto clave 


Un error de tipo | ocurre 
cuando una evaluación 
lega a la conclusión de 
que un programa ha 
enido impacto, cuando 
en realidad no lo ha 
enido. Un error de 

tipo Ise produce 
cuando una evaluación 
legará la conclusión de 
que el programa no ha 
enido impacto cuando, 
de hecho, sí lo ha 
enido. 


Concepto clave 


La potencia es la 
probabilidad de 
detectar un impacto 
cuando, de hecho, este 
existe. Una evaluación 
de impacto tiene una 
alta potencia si hay un 
bajo riesgo de que no 
se detecten los 
impactos reales del 
programa; es decir, 

de cometer un error 
de tipo Il. 
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niños de la muestra tratada es superior al de los niños de la muestra de com- 
paración, aunque el peso promedio de los pequeños en las dos poblaciones 
es, de hecho, igual y las diferencias observadas eran pura coincidencia. En 
este caso, el impacto positivo que se observó provendría únicamente de la 
falta de precisión de las estimaciones. 

Un error de tipo II es el tipo contrario de error. Se produce cuando una 
evaluación llega a la conclusión de que el programa no ha tenido impacto, 
cuando en realidad sí lo ha tenido. En el caso de la intervención en nutrición, 
esto ocurriría si se concluyera que el peso promedio de los niños en las dos 
muestras es el mismo, aunque el peso promedio de los niños de la población 
de tratamiento es, de hecho, superior al de los niños del grupo de compara- 
ción. Una vez más, el impacto debería haber sido positivo, pero debido a 
la falta de precisión de las estimaciones, se llega a la conclusión de que el 
programa ha tenido un impacto cero. 

Cuando se prueba la hipótesis de que un programa ha tenido impacto, los 
estadísticos pueden limitar el tamaño de los errores de tipo I. La probabilidad 
de un error de tipo I se puede establecer mediante un parámetro denominado 
el nivel de significancia. El nivel de significancia suele fijarse en 5%, lo que 
quiere decir que se puede tener un 95% de confianza en llegar a la conclusión 
de que el programa ha tenido un impacto. Si a usted le preocupa mucho 
cometer un error de tipo I, puede establecer un nivel de significancia menor: 
por ejemplo, del 1%, de manera de tener un 99% de confianza de llegar a la 
conclusión de que el programa ha tenido impacto. 

Sin embargo, los errores de tipo II también preocupan a los responsables 
de las políticas. Numerosos factores influyen en la probabilidad de cometer 
un error de tipo II, pero el tamaño de la muestra es crucial. Si el peso pro- 
medio de 50.000 niños tratados es el mismo que el peso promedio de 50.000 
niños de comparación, es probable que se pueda concluir que el programa 
no ha tenido impacto. Al contrario, si en una muestra de dos niños del grupo 
de tratamiento estos pesan en promedio lo mismo que en el caso de la 
muestra de dos niños del grupo de comparación, es más difícil llegar a una 
conclusión fiable. ¿El peso promedio es similar porque la intervención 
ha tenido impacto o porque los datos no son suficientes para comprobar la 
hipótesis en una muestra tan pequeña? Las muestras grandes reducen 
la probabilidad de que solo se observe a los niños que pesan lo mismo por 
una cuestión de (mala) suerte. En las muestras grandes, la diferencia de 
promedios entre la muestra tratada y la muestra de comparación propor- 
ciona una mejor estimación de la verdadera diferencia de los promedios 
entre todas las unidades tratadas y todas las unidades de comparación. 

La potencia (o potencia estadística) de una evaluación de impacto es la 
probabilidad de detectar una diferencia entre los grupos de tratamiento y 
comparación cuando esta de hecho existe. Una evaluación de impacto tiene 
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una alta potencia si hay un bajo riesgo de no detectar verdaderos impactos 
del programa, es decir, de cometer un error de tipo II. Los ejemplos anterio- 
res muestran que el tamaño de la muestra es un factor determinante crucial 
de la potencia de una evaluación de impacto. Las secciones siguientes ilus- 
trarán más detenidamente este punto. 


Por qué los cálculos de potencia importan en 
las políticas públicas 


El objetivo del cálculo de potencia consiste en determinar el tamaño de una 
muestra para evitar llegar a la conclusión de que un programa no ha tenido 
impacto, cuando de hecho si lo ha tenido (error de tipo ID. La potencia de 
una prueba es igual a 1 menos la probabilidad de un error de tipo II. 

Una evaluación de impacto tiene una potencia elevada si es poco proba- 
ble que se produzca un error de tipo II, lo que significa que es poco probable 
que usted se sienta decepcionado por los resultados que muestran que el pro- 
grama que se evalúa no ha tenido impacto, cuando en realidad sí lo ha tenido. 

Desde una perspectiva de políticas, las evaluaciones de impacto con insu- 
ficiente potencia, con una alta probabilidad de errores de tipo II, no solo 
son inútiles sino que también pueden resultar muy onerosas. Una alta 
probabilidad de un error de tipo II pone en peligro el potencial de una eva- 
luación de impacto de identificar resultados estadísticamente significativos. 
Por lo tanto, destinar recursos a evaluaciones de impacto sin suficiente 
potencia es una inversión riesgosa. 

Las evaluaciones de impacto sin suficiente potencia también pueden 
tener graves consecuencias prácticas. Por ejemplo, en la intervención 
hipotética en nutrición anteriormente mencionada, si se llegara a la 
conclusión de que el programa no fue efectivo, aunque sí lo fue, los respon- 
sables de las políticas podrían poner fin a un programa que, de hecho, 
beneficia a los niños. Por lo tanto, es crucial minimizar la probabilidad de 
errores de tipo II utilizando muestras lo suficientemente grandes en las 
evaluaciones de impacto. Por esto es tan fundamental y pertinente llevar a 
cabo cálculos de potencia. 


Los cálculos de potencia paso a paso 


A continuación, se explican los principios básicos de los cálculos de potencia, 
con eje en el caso sencillo de un programa de asignación aleatoria. Para llevar a 
cabo cálculos de potencia se requiere estudiar las siguientes cinco preguntas: 


1. ¿El programa funciona mediante clusters? 


2. ¿Cuál(es) es/son los indicadores de resultados? 
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3. ¿Cuál es el nivel mínimo de impacto que justificaría la inversión hecha en 
la intervención? 


4. ¿Cuál es la media de resultado para la población de interés? ¿Cuál es la 
varianza subyacente del indicador de resultado? 


5. ¿Cuáles son los niveles razonables de potencia estadística y de significancia 
estadística en la evaluación que se lleva a cabo? 


Cada una de estas preguntas es válida para el contexto especifico de las 
políticas en el que se ha decidido llevar a cabo la evaluación de impacto. 

El primer paso en los cálculos de potencia consiste en determinar si el pro- 
grama que se quiere evaluar genera clusters a lo largo de su implementación. 
Una intervención cuyo nivel de intervención (a menudo, lugares) es diferente 
del nivel al que se querrían medir los resultados (a menudo, personas) genera 
clusters en torno al lugar de la intervención. Por ejemplo, puede que sea nece- 
sario implementar un programa en el nivel del hospital, escuela o comunidad 
(en otras palabras, a través de clusters), pero el impacto se mide en los 
pacientes, alumnos o habitantes de la comunidad (véase el cuadro 15.1).5 
Cuando una evaluación de impacto genera clusters, es el número de estos 
últimos lo que determina en gran parte el tamaño de la muestra útil. En 
cambio, el número de individuos en los clusters importa menos. Se volverá 
sobre sobre esto más adelante. 

La naturaleza de cualquier dato de la muestra construido a partir de 
programas que están conglomerados es algo diferente de las muestras 
obtenidas a partir de programas que no lo están. Como consecuencia, los 
cálculos de potencia comprenderán pasos ligeramente diferentes, depen- 
diendo de si un programa asigna aleatoriamente los beneficios entre los 
clusters o sencillamente asigna los beneficios aleatoriamente entre todas 
las unidades de una población. Se analizará cada situación en su momento. 
Se comienza ahora con los principios de los cálculos de potencia en 
ausencia de clusters, es decir, cuando el tratamiento se asigna al nivel 
en que se observan los resultados. Luego se seguirá adelante para tratar los 
cálculos de potencia cuando hay clusters. 


Cuadro 15.1 Ejemplos de clusters 


Nivel al que se asignan Unidad en que se 


Beneficio los beneficios (cluster) miden los resultados 
Transferencias monetarias Pueblo Hogares 

Tratamiento anti malaria Escuela Individuos 

Programa de capacitación Barrio Individuos 
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Cálculos de potencia sin clusters 


Supóngase que se ha resuelto la primera pregunta estableciéndose que los 
beneficios del programa no se asignen por cluster. En otras palabras, el pro- 
grama que se evalúa asigna de forma aleatoria los beneficios entre todas las 
unidades en una población elegible. 

En el segundo paso, se deben identificar los indicadores de resultado más 
importantes para los cuales ha sido diseñado el programa. Estos indicado- 
res derivan del objetivo del programa, de una teoría del cambio y de la pre- 
gunta fundamental de la investigación de la evaluación, como se señaló en la 
primera parte. Los cálculos de potencia también ayudarán a entender el 
tipo de indicadores más adecuados para las evaluaciones de impacto. En 
realidad, como se verá más adelante, se pueden requerir muestras de diver- 
sos tamaños para medir impactos en diferentes indicadores. 

Tercero, se debe determinar el impacto mínimo que justificaría la inver- 
sión realizada en la intervención. Se trata sobre todo de una pregunta de 
políticas públicas, más que de una pregunta técnica. ¿Un programa de trans- 
ferencias monetarias es una inversión provechosa si reduce la pobreza en 
5%, 10% o 15%? ¿La implementación de un programa de mercado laboral 
activo vale la pena si aumenta los ingresos en 5%, 10% o 15%? La respuesta 
es sumamente específica del contexto, pero en todos los casos es necesario 
determinar el cambio en los indicadores de resultados que justificaria la 
inversión hecha en el programa. Dicho de otra manera, ¿cuál es el nivel 
de impacto por debajo del cual una intervención debería considerarse no 
exitosa? La respuesta a esa pregunta le dará el efecto mínimo detectable que 
la evaluación de impacto tiene que ser capaz de identificar. Responder a esta 
pregunta dependerá no solo del costo del programa y del tipo de beneficios 
que proporciona, sino también del costo de oportunidad de no invertir 
fondos en una intervención alternativa. 

Si bien los efectos mínimos detectables se pueden basar en objetivos 
de políticas públicas, es posible utilizar otros enfoques para establecerlos. 
Puede que sea útil tomar como referencia efectos mínimos detectables en 
relación con resultados de los estudios en programas similares para arrojar 
luz sobre la magnitud de los impactos que se pueden esperar. Por ejemplo, 
las intervenciones en educación suelen medir los beneficios en térmi- 
nos de puntuaciones de las pruebas estandarizadas. Los estudios existentes 
demuestran que un aumento de 0,1 desviaciones típicas es relativamente 
pequeño, mientras que un aumento de 0,5 es relativamente grande. Como 
alternativa, se pueden llevar a cabo simulaciones ex ante para evaluar la 
gama de impactos que son realistas bajo diversas hipótesis. En el capítulo 1 
se presentaron ejemplos de simulaciones ex ante para programas de trans- 
ferencias monetarias condicionadas. Por último, los análisis económicos ex 
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El efecto mínimo 
detectable (EMD) es el 
tamaño de efecto que 
una evaluación de 
impacto está diseñada 
para estimar para un 
determinado nivel de 
significancia y 
potencia. Ceteris 
paribus, se necesitan 
muestras más grandes 
para que una 
evaluación de impacto 
detecte diferencias 
más pequeñas entre 
los grupos de 
tratamiento y 
comparación o para 
detectar diferencias en 
un resultado más 
variable. 
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ante pueden arrojar luz sobre el tamaño de los impactos que se necesitarían 
para que la tasa de retorno de una determinada inversión sea suficiente- 
mente alta. Por ejemplo, los aumentos de los ingresos anualizados genera- 
dos por un programa de capacitación laboral tendrían que ser superiores a 
la tasa de interés prevalente en el mercado. 

Como se comprenderá, es más fácil identificar una gran diferencia entre 
dos grupos que identificar una diferencia pequeña. Para que una evaluación 
de impacto identifique una pequeña diferencia entre los grupos de trata- 
miento y comparación, se necesitará una estimación muy precisa de la dife- 
rencia de los resultados medios entre los dos grupos. Esto requiere una 
muestra grande. Como alternativa, en las intervenciones que se consideran 
viables solo si generan grandes cambios en los indicadores de resultado, las 
muestras necesarias para llevar a cabo una evaluación de impacto serán más 
pequeñas. Sin embargo, el efecto mínimo detectable debería fijarse de 
manera conservadora, dado que es menos probable que se detecte cualquier 
impacto menor que el efecto mínimo deseado. 

Cuarto, para llevar a cabo cálculos de potencia, se le debe pedir a un 
experto que estime algunos parámetros básicos, como el promedio de la 
línea de base y una varianza de los indicadores de resultado. Estos valores 
de referencia deberían preferiblemente obtenerse de los datos recopilados 
en un contexto similar a aquel en el cual se implementará el programa que 
se estudia, o de una encuesta piloto en la población de interés.° Es muy 
importante señalar que cuanto más variables sean los resultados de interés, 
mayor será la muestra que se necesitará para estimar un efecto de trata- 
miento preciso. En el ejemplo de la intervención hipotética en nutrición, el 
peso de los niños es el resultado de interés. Si todos los individuos pesan lo 
mismo en la línea de base, será factible estimar el impacto de una interven- 
ción en nutrición en una muestra pequeña. En cambio, si los pesos de línea 
de base de los niños son muy variables, se requerirá una muestra más grande 
para estimar el impacto del programa. 

Quinto, el equipo de evaluación tiene que determinar un nivel de potencia 
razonable y un nivel de significancia para la evaluación de impacto planifi- 
cada. Como ya se señaló, la potencia de una prueba es igual a 1 menos la 
probabilidad de cualquier error de tipo II. Por lo tanto, la potencia oscila 
entre 0 y 1, donde un valor alto indica menos riesgo de no identificar un 
impacto existente. Una potencia de 0,8 es una referencia generalmente uti- 
lizada para los cálculos de potencia. Significa que se encontrará un impacto 
en el 80% de los casos allí donde se haya producido. Un nivel más alto de 
potencia de 0,9 (o 90%) a menudo proporciona una referencia útil pero más 
conservadora, lo cual aumenta el tamaño requerido de la muestra. 

El nivel de significancia es la probabilidad de cometer un error de tipo I. 
Normalmente se fija en 5%, de modo que se puede tener una confianza 
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del 95% de llegar a la conclusión de que el programa ha tenido impacto si se 
encuentra un impacto significativo. Otros niveles habituales de significancia 
son 1% y 10%. Cuanto menor sea el nivel de significancia, más confianza se 
puede tener en que el impacto estimado es real. 

Una vez que se han abordado estas cinco preguntas, el experto en cálculos 
de potencia puede calcular el tamaño requerido de la muestra utilizando un 
software estadístico.” El cálculo de potencia indicará el tamaño requerido de 
la muestra, dependiendo de los parámetros establecidos en los pasos 1 a 5. 
Los propios cálculos son sencillos, una vez que se han determinado los pará- 
metros relevantes para las políticas (sobre todo en los pasos 2 y 3).* (Si a usted 
le interesa la implementación de los cálculos de potencia, el manual técnico 
disponible en el sitio web del libro contiene ejemplos de cálculos de potencia 
utilizando Stata y Optimal Design.) 

Al solicitar asesoría a los expertos estadísticos, el equipo de evaluación 
debería pedir un análisis de la sensibilidad del cálculo de potencia ante cam- 
bios en los supuestos. Es decir, es importante entender cuánto tendrá que 
aumentar el tamaño requerido de la muestra con supuestos más conserva- 
dores (como un impacto previsto menor, mayor varianza en el indicador de 
resultado o un mayor nivel de potencia). También es una buena práctica 
encargar cálculos de potencia para diversos indicadores de resultados, dado 
que los tamaños requeridos de la muestra pueden variar considerablemente 
si algunos indicadores de resultados son mucho más variables que otros. Por 
último, los cálculos de potencia también pueden indicar el tamaño de la 
muestra necesario para establecer una comparación de los impactos del 
programa en diferentes subgrupos específicos (por ejemplo, hombres o 
mujeres, u otros subgrupos de la población de interés). Cada subgrupo 
tendría que tener el tamaño requerido de la muestra. 


CJ , Evaluación del impacto del HISP: la decision del tamaño 
C de la muestra necesario para evaluar el HISP ampliado 

Para volver al ejemplo presentado en la segunda parte del libro, supón- 
gase que el ministerio de Salud estaba satisfecho con la calidad y los resul- 
tados de la evaluación del Programa de Subsidios de Seguros de Salud 
(HISP, por sus siglas en inglés). Sin embargo, antes de ampliar el pro- 
grama, el ministro decide realizar una prueba piloto de una versión 
ampliada del programa, que denominan HISP+, El HISP original paga 
una parte del costo del seguro de salud de los hogares rurales pobres, y 
cubre los costos de la atención primaria y los medicamentos, pero no 
cubre la hospitalización. El ministro de Salud se pregunta si un HISP+ que 
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también cubra la hospitalización disminuiría aún más los gastos directos 
en salud de los hogares pobres. El ministerio le pide diseñar una evalua- 
ción de impacto para evaluar si el HISP+ disminuiría los gastos en salud 
de los hogares rurales pobres. 

En este caso, elegir un diseño de evaluación de impacto no es difícil: el 
HISP+ tiene recursos limitados y no puede ser implementado universal- 
mente de manera inmediata. Como consecuencia, se llega a la conclusión 
de que la asignación aleatoria sería el método de evaluación de impacto 
más viable y robusto. El ministro de Salud entiende que el método de asig- 
nación aleatoria puede funcionar bien y se muestra de acuerdo. 

Para finalizar el diseño de la evaluación de impacto, usted contrata a 
un técnico estadístico que le ayudará a definir el tamaño de la muestra 
necesaria. Antes de comenzar a trabajar, el técnico estadístico le pide 
información clave. Utiliza una lista de verificación de cinco preguntas. 


1. ¿El programa HISP+ generará clusters? A estas alturas, usted no está 
totalmente seguro. Cree que es posible asignar de forma aleatoria el 
paquete de beneficios ampliado a nivel de los hogares entre todos los 
hogares rurales pobres que ya se benefician del HISP. Sin embargo, 
usted sabe que el ministro de Salud puede preferir asignar el programa 
ampliado a nivel de la comunidad y que eso generaría clusters. El téc- 
nico estadístico sugiere llevar a cabo cálculos de potencia en un caso de 
referencia sin clusters, y luego analizar cómo cambiarían los resultados 
con los clusters. 


2. ¿Cuál es el indicador de resultado? Usted explica que al gobierno le 
interesa un indicador bien definido, a saber, los gastos directos en 
salud de los hogares pobres. El técnico estadístico busca la fuente más 
actualizada para obtener valores de referencia de este indicador y 
sugiere utilizar la encuesta de seguimiento de la evaluación HISP. 
Señala que entre los hogares que reciben el HISP, los gastos directos 
anuales per cápita en salud llegan a un promedio de US$7,84. 


3. ¿Cuál es el nivel mínimo de impacto que justificaría la inversión en 
la intervención? En otras palabras, ¿qué disminución de los gastos 
directos en salud por debajo del promedio de US$7,84 justificaría esta 
intervención? El profesional estadístico subraya que no se trata solo de 
una consideración técnica, sino de una decisión de políticas. Por eso, 
un responsable de las políticas como usted debe establecer el efecto 
mínimo que la evaluación debería ser capaz de detectar. Usted recuerda 
que, basándose en análisis económicos ex ante, el programa HISP+ se 
consideraría efectivo si redujera los gastos directos en salud de los 
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hogares en US$2. Aun así, usted sabe que para los fines de la evalua- 
ción, puede que sea preferible ser conservador al determinar el impacto 
mínimo detectable, dado que es poco probable que se detecte cualquier 
otro impacto menor. Para entender cómo el tamaño necesario de la 
muestra varía según el efecto mínimo detectable, usted sugiere que el 
técnico estadístico lleve a cabo cálculos para una reducción mínima de 
los gastos directos en salud de US$1, US$2 y US$3. 


4. ¿Cuál es la varianza del indicador de resultado en la población de 
interés? El técnico estadístico vuelve a la base de datos de los hogares 
HISP tratados, y señala que la desviación típica de los gastos directos 
en salud es de US$8. 


5. ¿Cuál sería un nivel razonable de potencia para la evaluación que 
se lleva a cabo? El profesional estadístico añade que los cálculos de 
potencia suelen efectuarse para una potencia de entre 0,8 y 0,9. 
Recomienda 0,9, pero propone realizar verificaciones de robustez más 
tarde, con un nivel menos conservador de 0,8. 


Con toda esta información, el técnico estadístico emprende los cálculos 
de potencia. Como se había acordado, comienza con el caso más conser- 
vador de una potencia de 0,9. En el cuadro 15.2 se recogen los resultados 
que genera. 

El estadístico llega a la conclusión de que para detectar una disminu- 
ción de US$2 en los gastos directos en salud con una potencia de 0,9, la 
muestra tiene que contener al menos 672 unidades (336 unidades tratadas 
y 336 unidades de comparación, sin clusters). Señala que si usted se sin- 
tiera satisfecho detectando una disminución de US$3 en los gastos direc- 
tos en salud, una muestra más pequeña de al menos 300 unidades (150 
unidades en cada grupo) sería suficiente. En cambio, se necesitaría una 


Cuadro 15.2 Evaluación del HISP+: tamaño requerido de la muestra para 
identificar diversos efectos mínimos detectables, potencia = 0,9 


Efecto mínimo Grupo de Grupo de 

detectable tratamiento comparación Total muestra 
US$1 1.344 1.344 2.688 
US$2 336 336 672 
US$3 150 150 300 


Nota: El efecto mínimo detectable describe la reducción mínima de los gastos directos en salud de 


los hogares que puede detectar la evaluación de impacto. Potencia = 0,9; sin clusters. 
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muestra mucho más grande de al menos 2.688 unidades (1.344 cada 
grupo) para detectar una disminución de US$1 en los gastos directos en 
salud. 

El técnico estadístico luego produce otro cuadro para un nivel de 
potencia de 0,8. El cuadro 15.3 muestra que los tamaños de la muestra 
requeridos son más pequeños con una potencia de 0,8 que con una 
potencia de 0,9. Para detectar una reducción de US$2 en los gastos direc- 
tos en salud de los hogares, sería suficiente una muestra total de al menos 
502 unidades. Para detectar una reducción de US$3, se precisan al menos 
224 unidades. Sin embargo, para detectar una reducción de US$1 se 
necesitarían al menos 2.008 unidades en la muestra. El técnico estadís- 
tico subraya que los siguientes resultados son típicos de los cálculos de 
potencia: 


e Cuanto mayor (más conservador) el nivel de potencia, mayor será el 
tamaño requerido de la muestra. 


e Cuanto más pequeño el impacto detectado, mayor será el tamaño 
requerido de la muestra. 


El técnico estadístico le pregunta si quiere llevar a cabo cálculos 
de potencia para otros resultados de interés. Usted sugiere considerar 
también el tamaño requerido de la muestra para detectar si el HISP+ 
influye en la tasa de hospitalización. En el ejemplo de las comunidades 
HISP tratadas, en el 5% de los hogares hay un miembro del hogar que 
acude al hospital en un año cualquiera; esto proporciona una tasa de 
referencia. El estadístico produce un nuevo cuadro, que demuestra que 
se necesitarían muestras relativamente grandes para detectar cambios 
en la tasa de hospitalización (cuadro 15.4) de 1,2 0 3 puntos porcentuales 
con respecto a la tasa de línea de base del 5%. 


Cuadro 15.3 Evaluación del HISP+: tamaño requerido de la muestra para 
identificar diversos efectos mínimos detectables, potencia = 0,8 


Efecto mínimo Grupo de Grupo de 

detectable tratamiento comparación Total muestra 
US$1 1.004 1.004 2.008 
US$2 251 251 502 
US$3 1112 112 224 


Nota: El efecto mínimo detectable describe la reducción mínima de los gastos directos en salud de 


los hogares que puede detectar la evaluación de impacto. Potencia = 0,8; sin clusters. 
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El cuadro 15.4 muestra que los requisitos del tamaño de la muestra 
son mayores para este resultado (la tasa de hospitalización) que para los 
gastos directos en salud. El técnico estadístico llega a la conclusión de 
que si usted está interesado en detectar impactos en ambos resultados, 
debería utilizar los tamaños de muestra más grandes que surgen de los 
cálculos de potencia efectuados en las tasas de hospitalización. Si se usan 
los tamaños de muestra de los cálculos de potencia realizados para los 
gastos directos, el técnico estadístico sugiere informar al ministro de 
Salud que la evaluación no tendrá suficiente poder para detectar efectos 
pertinentes para las políticas en las tasas de hospitalización. 


Cuadro 15.4 Evaluación del HISP+: tamaño requerido de la muestra para 
detectar diversos efectos mínimos deseados (aumento de la tasa de 
hospitalización) 

Potencia = 0,8; sin clusters 


Efecto mínimo 


detectable Grupo de Grupo de 

(porcentaje) tratamiento comparación Total muestra 
1 LAST 7257 14.514 

2 1.815 1.815 3.630 

g 807 807 1.614 


Nota: El efecto mínimo deseado describe el cambio mínimo en la tasa de utilización de servicios 


hospitalarios (expresado en puntos porcentuales) que puede detectar la evaluación de impacto. 


© Pregunta HISP 8 


A. ¿Qué tamaño de la muestra recomendaría usted para estimar el 
impacto del HISP+ en los gastos directos en salud? 

B. ¿Ese tamaño de la muestra sería suficiente para detectar cambios en la 
tasa de hospitalización? 


Cálculos de potencia con clusters 


En el apartado anterior se introdujeron los principios de llevar a cabo 
cálculos de potencia para programas que no generan clusters. Sin embargo, 
como se señaló en la segunda parte, algunos programas asignan beneficios 
a nivel de clusters. A continuación, se describe brevemente cómo hay que 
adaptar los principios básicos de los cálculos de potencia para las muestras 


con clusters. 


Ante la presencia de clusters, un principio rector clave es que el número de 
clusters suele importar mucho más que el número de individuos en los clusters. 
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Concepto clave 


El número de clusters 
importa mucho más en 
los cálculos de 
potencia que el número 
de individuos en los 
clusters. Se requieren 
a menudo al menos 40 
a 50 clusters en cada 
uno de los grupos de 
tratamiento y 
comparación, aunque 
los requisitos del 
tamaño de la muestra 
variarán según los 
casos, y los cálculos de 
potencia son 
necesarios para 
asegurar un tamaño 
adecuado de la 
muestra. 
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Se requiere un número suficiente de clusters para probar de forma convin- 
cente si un programa ha tenido impacto al contraponer resultados en mues- 
tras de las unidades de tratamiento y comparación. Es el número de clusters el 
que determina en gran parte el tamaño de la muestra útil o efectivo. Si se 
asigna de manera aleatoria el tratamiento entre un pequeño número de clus- 
ters, es poco probable que los clusters de tratamiento y comparación sean 
idénticos. La asignación aleatoria entre dos distritos, dos escuelas o dos hospi- 
tales no garantizará que los dos clusters sean similares. En cambio, la asigna- 
ción aleatoria de una intervención entre 100 distritos, 100 escuelas o 100 
hospitales tiene más probabilidades de asegurar que los grupos de tratamiento 
y comparación sean similares. En resumen, se requiere un número suficiente 
de clusters para alcanzar un equilibrio. Además, el número de clusters también 
importa para la precisión de los efectos estimados del tratamiento. Se requiere 
un número suficiente de clusters para probar la hipótesis de que un programa 
tiene un impacto con suficiente potencia. Cuando se implementa una evalua- 
ción de impacto basada en la asignación aleatoria, es muy importante asegu- 
rar que el número de clusters sea suficientemente grande. 

Se puede establecer el número de clusters requeridos para pruebas de 
hipótesis precisas efectuando cálculos de potencia. Esto exige formular las 
mismas cinco preguntas expuestas anteriormente, más una pregunta extra: 
¿Cuán variable es el indicador de resultado en los clusters? 

En el extremo, todos los resultados en un cluster están perfectamente 
correlacionados. Por ejemplo, puede ocurrir que el ingreso del hogar no 
varie especialmente en las comunidades, pero que entre comunidades se 
observe una desigualdad importante en los ingresos. En este caso, si usted 
considera añadir una persona a su muestra de evaluación, agregar a un indi- 
viduo de una comunidad nueva aumentará mucho más la potencia que 
introducir un individuo de una comunidad que ya está representada. Dado 
que los resultados están plenamente correlacionados en un cluster, añadir 
un nuevo individuo de ese cluster existente no aportará nueva información. 
En realidad, en este caso, es probable que el individuo de la segunda comu- 
nidad tenga un aspecto muy similar al individuo original ya incluido. En 
general, una mayor correlación intra-cluster en los resultados (es decir, una 
mayor correlación en los resultados o características entre las unidades que 
pertenecen al mismo cluster) aumenta el número de clusters requeridos 
para alcanzar un determinado nivel de potencia. 

En las muestras con clusters, los cálculos de potencia subrayan los bene- 
ficios relativos entre añadir clusters y añadir observaciones dentro de los 
clusters. El aumento relativo de la potencia al agregar una unidad de un 
nuevo cluster es casi siempre mayor que el de sumar una unidad a un cluster 
ya existente. Aunque el incremento de la potencia al añadir un nuevo cluster 
puede ser drástico, agregar clusters también puede tener implicaciones 
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operativas y elevar el costo de la implementación del programa o de la 
recopilación de datos. Más adelante en este capítulo, se explica cómo efec- 
tuar cálculos de potencia con clusters en el caso del HISP+ y se analizan 
algunas consideraciones. 

En numerosos casos, se requieren al menos entre 40 y 50 clusters en 
cada grupo de tratamiento y comparación para obtener potencia sufi- 
ciente y garantizar la similitud de las características de línea de base al 
usar métodos de asignación aleatoria. Sin embargo, puede que el número 
varie de acuerdo con los diversos parámetros ya analizados, así como la 
correlación intra-cluster. Además, como se verá más adelante, es probable 
que el número probablemente aumente al utilizar métodos distintos de la 
asignación aleatoria (suponiendo que todos los demás factores perma- 
nezcan constantes). 


rpm 


Q ə Evaluación del impacto del HISP: tamaño requerido de la 
os muestra para evaluar un HISP expandido con clusters 


Después de su primera conversación con el técnico estadístico acerca 
de los cálculos de potencia para el HISP+, usted decide hablar breve- 
mente con el ministro de Salud acerca de las implicaciones de asignar 
aleatoriamente los beneficios del HISP+ entre todos los individuos de la 
población que reciben el plan básico del HISP. La consulta revela que ese 
procedimiento no sería politicamente viable: en ese contexto, resultaría 
difícil explicar por qué una persona recibiría los beneficios ampliados 
mientras que su vecino no los recibiría. 

Por lo tanto, en lugar de la asignación aleatoria a nivel individual, usted 
sugiere seleccionar aleatoriamente un cierto número de comunidades 
HISP para realizar una prueba piloto del HISP+. Todos los miembros de 
la comunidad del pueblo seleccionado serían elegibles. Este procedi- 
miento generará clusters y, por lo tanto, requerirá nuevos cálculos de 
potencia. Ahora se trata de determinar el tamaño requerido de la muestra 
para evaluar el impacto del HISP+ cuando se asigne aleatoriamente 
por cluster. 

Usted vuelve a consultar con su técnico estadístico. El vuelve a asegu- 
rarle que solo se requiere un poco más de trabajo. En su lista de verifica- 
ción solo queda una pregunta por responder, a saber: cuánto varía el 
indicador de resultado en los clusters. Por fortuna, también es una pre- 
gunta que se puede responder utilizando los datos del HISP. El técnico 
descubre que la correlación de los gastos directos en salud en la comunidad 
es igual a 0,04. 
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También pregunta si se ha fijado un límite para el número de comuni- 
dades en las que sería viable implementar el nuevo plan piloto. Dado que el 
programa ahora tiene 100 comunidades en el HISP, usted explica que 
podría tener, como máximo, 50 comunidades de tratamiento y 50 comuni- 
dades de comparación para el HISP+. Con esa información, el técnico 
estadístico produce los cálculos de potencia que aparecen en el cuadro 15.5 
con una potencia de 0,8. 

El estadístico llega a la conclusión de que para detectar una disminu- 
ción de US$2 en los gastos directos en salud, la muestra debe incluir al 
menos 630 unidades, es decir, 7 unidades por cluster en 90 clusters (45 en 
el grupo de tratamiento y 45 en el grupo de comparación). Señala que 
este número es mayor que en la muestra con asignación aleatoria a nivel 
de los hogares, que requirió solo un total de 502 unidades (251 en el grupo 
de tratamiento y 251 en el grupo de comparación; véase el cuadro 15.3). 
Para detectar una disminución de US$3 en los gastos directos en salud, 
la muestra tendría que incluir al menos 246 unidades, o 3 unidades en 
cada uno de los 82 clusters (41 en el grupo de tratamiento y 41 en el grupo 
de comparación). 

Posteriormente, el técnico estadístico le indica cómo el número total 
de observaciones requeridas en la muestra varía con el número total de 
clusters. Luego decide repetir los cálculos para un efecto mínimo detecta- 
ble de US$2 y una potencia de 0,8. El tamaño de la muestra total reque- 
rida para estimar dicho efecto aumenta visiblemente cuando el número 
de clusters disminuye (cuadro 15.6). Con 120 clusters, se necesitaría una 
muestra de 600 observaciones. Si solo hubiera 30 clusters disponibles, la 
muestra total debería contener 1.500 observaciones. En cambio, si hubiera 
90 clusters disponibles, solo se necesitarían 630 observaciones. 


Cuadro 15.5 Evaluación del HISP+: tamaño requerido de la muestra para 
identificar diversos efectos mínimos detectables (disminución de los 
gastos del hogar en salud) 

Potencia = 0,8; máximo de 100 clusters 


Efecto mínimo Número Unidades Total muestra Total muestra 


detectable de clusters por cluster con clusters sin clusters 
US$1 100 102 10.200 2.008 
US$$2 90 7 630 502 
US$3 82 8 246 224 


Nota: El efecto mínimo detectable describe la reducción mínima de los gastos directos en salud de 
los hogares que puede detectar la evaluación de impacto. El número de clusters es el número total 
de clusters, la mitad de los cuales será el número de clusters del grupo de comparación, y la otra 


mitad será el número de clusters del grupo de tratamiento. 
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Cuadro 15.6 Evaluación del HISP+: tamaño requerido de la muestra para 
detectar un impacto mínimo de US$2 en diversas cantidades de clusters 
Potencia = 0,8 


Efecto mínimo Número Unidades Total muestra 
detectable de clusters por cluster con clusters 
US$2 30 50 1.500 
US$2 58 13 754 
US$2 81 8 648 
US$2 90 7 630 
US$2 120 5 600 


Nota: El numero de clusters es el numero total de clusters, la mitad de los cuales sera el numero 
de clusters del grupo de comparación, y la otra mitad será el número de clusters del grupo de 
tratamiento. Si el diseño no tuviera clusters, se necesitarían 251 unidades en cada grupo para 


identificar un efecto mínimo detectable de US$2 (véase el cuadro 15.3). 


° Pregunta HISP 9 


A. ¿Quétamaño total dela muestrarecomendaría para estimar elimpacto 
del HISP+ en los gastos directos en salud? 

B. ¿En cuántas comunidades le aconsejaría al ministro de Salud imple- 
mentar el HISP+? 


Más allá del caso de referencia 


Este capítulo se ha centrado en el caso de referencia de una evaluación de 
impacto implementada utilizando el método de asignación aleatoria, con 
pleno cumplimiento. Este es el escenario más sencillo y, por lo tanto, el más 
adecuado para transmitir la intuición en que se basan los cálculos de poten- 
cia. Aun así, numerosos aspectos prácticos de nuestros cálculos de potencia 
aún no han sido analizados, y es necesario considerar detenidamente las 
desviaciones de los casos básicos que se abordan aquí. Más abajo, se tratan 
algunas de estas desviaciones. 

Utilización de métodos cuasi experimentales. Ceteris paribus, los métodos 
de evaluación de impacto cuasi experimentales, como la regresión 
discontinua, el pareamiento o las diferencias en diferencias, tienden a 
requerir muestras más grandes que el método de referencia de asignación 
aleatoria. Por ejemplo, al utilizar el diseño de regresión discontinua, en el 
capítulo 6 se subrayaba que solo se pueden considerar las observaciones en 
torno al umbral de elegibilidad. Se requiere una muestra suficientemente 
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grande en torno a ese umbral. Los cálculos de potencia son necesarios para 
estimar la muestra requerida de modo de establecer comparaciones signifi- 
cativas en torno al umbral. 

Por otro lado, la disponibilidad de diversas rondas de datos puede 
contribuir a aumentar la potencia de una evaluación de impacto con 
un determinado tamaño de la muestra. Por ejemplo, los datos de línea de 
base sobre resultados y otras características pueden añadir precisión a la 
estimación de los efectos de tratamiento. La disponibilidad de medidas 
repetidas de resultados después del comienzo del tratamiento también 
puede ser útil. 

Análisis de diferentes modalidades de programa o innovaciones de diseño. 
En los ejemplos presentados en este capítulo, el tamaño total de la muestra se 
dividía por igual entre los grupos de tratamiento y comparación. En algunos 
casos, la principal pregunta de políticas con respecto a la evaluación puede 
generar la comparación de impactos del programa entre las modalidades del 
programa o las innovaciones de diseño. Si esto es así, el impacto previsto 
puede ser relativamente menor que si un grupo de tratamiento objeto de un 
programa fuera comparado con un grupo de comparación que no recibía 
ningún tipo de beneficios. Como tal, el efecto mínimo deseado entre los dos 
grupos de tratamiento puede ser más pequeño que el efecto mínimo deseado 
entre el grupo de tratamiento y el grupo de comparación. Esto implicaría 
que la distribución óptima de la muestra generaría grupos de tratamiento 
que son relativamente más grandes que el grupo de comparación.” En las 
evaluaciones de impacto con múltiples ramas de tratamiento, puede que sea 
necesario implementar cálculos de potencia para estimar por separado el 
tamaño de cada grupo de tratamiento y comparación, en función de la prin- 
cipal pregunta de interés de las políticas. 

Comparación de subgrupos. En otros casos, algunas de las preguntas de la 
evaluación de impacto pueden centrarse en estimar si los impactos de un 
programa varían entre diferentes subgrupos, como el sexo, la edad o las 
categorías de ingreso. Si esto es lo que ocurre, los requisitos del tamaño de la 
muestra serán mayores y los cálculos de potencia tendrán que ajustarse de 
forma correspondiente. Por ejemplo, una pregunta clave de políticas puede 
ser si un programa educativo tiene un impacto mayor en las alumnas que en 
los alumnos. Se necesitará un número suficiente de alumnos de cada sexo en 
el grupo de tratamiento y el grupo de comparación para detectar un impacto 
en cada subgrupo. Si se pretende comparar los impactos del programa entre 
dos subgrupos, puede que se duplique el tamaño requerido de la muestra. Si 
se considera la heterogeneidad entre más grupos (por ejemplo, por la edad) 
también puede aumentar considerablemente el tamaño requerido de la 
muestra. Si este tipo de comparaciones entre grupos ha de llevarse a cabo en 
el contexto de una evaluación de impacto que depende de la asignación 
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aleatoria, es preferible también tenerlas en cuenta cuando se implementa 
la aleatorización y, sobre todo, para aplicar una asignación aleatoria 
por bloques o estratos (es decir, en cada subgrupo que se compara). En 
la práctica, aunque no se realice ninguna comparación entre subgrupos, la 
aleatorización estratificada o por bloque puede contribuir a maximizar aún 
más la potencia de un determinado tamaño de la muestra. 

Análisis de múltiples resultados. Es necesario proceder con singular 
cuidado cuando se emprenden cálculos de potencia en los casos en que una 
evaluación de impacto pretenda probar si un programa genera cambios en 
múltiples resultados. Si se tienen en cuenta numerosos resultados diferentes, 
habrá una probabilidad relativamente más alta de que la evaluación de 
impacto encuentre impactos en uno de los resultados solo por azar. Para 
abordar esto, el equipo de evaluación de impacto tendrá que pensar en pro- 
bar la significancia estadística conjunta de los cambios en diversos resulta- 
dos. Como alternativa, se pueden elaborar algunos índices o familias de 
resultados. Estos enfoques para lidiar con las pruebas de múltiples hipótesis 
tienen implicaciones para los cálculos de potencia y el tamaño de la muestra 
y, en ese sentido, hay que tenerlos en cuenta cuando se define la muestra 
necesaria para la evaluación de impacto."° 

Para lidiar con el cumplimiento imperfecto o el desgaste de la muestra. Los 
cálculos de potencia suelen proporcionar el tamaño mínimo requerido de 
la muestra. En la práctica, los problemas de implementación a menudo 
implican que el tamaño de la muestra real es más pequeño que el tamaño 
planificado. Por ejemplo, el cumplimiento imperfecto puede significar que 
solo se inscribe una parte de los beneficiarios a los que se ofrece el pro- 
grama. Los requisitos del tamaño de la muestra aumentan cuando surge el 
cumplimiento imperfecto. Además, aunque todos los individuos se inscri- 
bieran en el programa, se puede producir algún grado de desgaste en la 
encuesta de seguimiento si no se da con el paradero de todos los individuos. 
Aunque ese incumplimiento o desgaste es aleatorio y no afecta la consis- 
tencia de las estimaciones de impacto, estos aspectos influirian en la 
potencia de la evaluación de impacto. Para dar cuenta de dichos factores, 
generalmente se recomienda añadir un margen al tamaño de la muestra 
prevista por los cálculos de potencia. De la misma manera, los datos de 
menor calidad tendrán más error de medición y harán que los resultados 
de interés sean más variables, además de que requerirán tamaños de la 
muestra más grandes. 

Las reflexiones más avanzadas mencionadas en esta sección exceden el 
alcance de este libro, pero los recursos recogidos al final de este capítulo 
pueden ser útiles. En la práctica, los equipos de evaluación tienen que incluir 
o contratar a un experto que pueda efectuar cálculos de potencia, y el 
experto debería ser capaz de asesorar en temas más complejos. 
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Otros recursos 


Para material de apoyo relacionado con el libro y para hipervínculos de más 
recursos, se recomienda consultar el sitio web de la Evaluación de Impacto en 
la Práctica (http: //www.worldbank.org/ieinpractice). 

Para ejemplos de cómo efectuar cálculos de potencia con los programas Stata™ 
y Optimal Design para el caso específico del HISP que ilustra este capítulo, véa- 
se el manual técnico disponible en el sitio web del libro (http://www.iadb.org 
/portalevaluacion). Este manual incluye material técnico adicional para lectores 
con conocimientos de estadística y econometría. 


Para un debate detallado sobre el muestreo (incluyendo otros métodos como 

el muestreo sistemático o muestreo de múltiples etapas), más allá de los con- 

ceptos básicos tratados aquí, véase los siguientes recursos: 

> W.G. Cochran (1977), Sampling Techniques, tercera edición. Nueva York: 
John Wiley. 


> L. Kish (1995), Survey Sampling. Nueva York: John Wiley. 


> S. Lohr (1999), Sampling: Design and Analysis. Pacific Grove, CA: 
Brooks Cole. 


> S.K. Thompson (2002), Sampling, segunda edición. Nueva York: John Wiley. 


> 0, en un nivel más básico, G. Kalton (1983), Introduction to Survey 
Sampling. Beverly Hills, CA: Sage Publications. 


Se puede encontrar orientación práctica para el muestreo en: 

> M. Grosh y J. Muñoz (1996), “A Manual for Planning and Implementing 
the Living Standards Measurement Study Survey.” Documento de trabajo 
LSMS 126. Washington, D.C.: Banco Mundial. 

> Naciones Unidas (2005), Household Sample Surveys in Developing and 
Transition Countries. Nueva York: Naciones Unidas. 


> G. larossi (2006), The Power of Survey Design: A User's Guide for 
Managing Surveys, Interpreting Results, and Influencing Respondents. 
Washington, D.C.: Banco Mundial. 

> A.G. Fink (2008), How to Conduct Surveys: A Step by Step Guide, cuarta 
edición. Beverly Hills, CA: Sage. 

Para una hoja de cálculo de potencia que calcule la potencia de un determi- 

nado tamaño de la muestra después de ingresar ciertas características, véase 

el portal de evaluación del Banco Interamericano de Desarrollo, sección de 

diseño, en herramientas (http://www.iadb.org/portalevaluacion). 

Para más información sobre cálculos de potencia y tamaño de la muestra, véase 

el Kit de Herramientas de Evaluación de Impacto (Impact Evaluation Toolkit) 

del Banco Mundial, Módulo 3 sobre Diseño. Este módulo también incluye un 

guía para realizar cálculos de potencia ex ante, un documento sobre cálculos 

de potencia con variables binarias y una recopilación de referencias útiles para 

más información sobre los cálculos de potencia (http://www.worldbank.org 

/health/impactevaluationtoolkit). 

Para diversos blogs sobre cálculos de potencia, véase el blog de impacto del 

desarrollo del Banco Mundial (World Bank Development Impact Blog) (http:// 

blogs.worldbank.org/impactevaluations/). 


La evaluación de impacto en la práctica 


e Para un debate de algunas reflexiones sobre cálculos de potencia en diseños 


más complejos que el caso de referencia de la asignación aleatoria en 

presencia de cumplimiento perfecto, véase: 

> J. Spybrook, S. Raudenbush, X. Liu, R. Congdon y A. Martinez (2008), 
Optimal Design for Longitudinal and Multilevel Research: Documentation 
for the “Optimal Design” Software. Nueva York: William T. Grant 
Foundation. 


> P. Rosenbaum (2009), “The Power of Sensitivity Analysis and Its Limit.” 
En: P. Rosenbaum, Design of Observational Studies, capitulo 14. Nueva York: 
Springer Series in Statistics. 

Sobre el tema de pruebas de multiples hipotesis, véase: 

> E. Duflo, R. Glennerster, M. Kremer, T. P. Schultz y A. S. John (2007), 
“Using Randomization in Development Economics Research: A Toolkit.” 
En: Handbook of Development Economics, Vol. 4, capitulo 61, pp. 
3895-3962. Amsterdam: Elsevier. 


> P. Z. Schochet (2008), Guidelines for Multiple Testing in Impact 
Evaluations of Educational Interventions. Preparado por Mathematica 
Policy Research Inc., para el Institute of Education Sciences, U.S. 
Department of Education, Washington, D.C. 

Hay diversos instrumentos disponibles para quienes estén interesados en 

analizar el disefio de la muestra de manera mas profunda. Por ejemplo, la 

W.T. Grant Foundation desarrolló el software de libre disponibilidad Optimal 

Design, un software para la Investigación de Múltiples Niveles y Longitudinal, 

útil para el análisis de potencia estadística con clusters. El software y el manual 

de Optimal Design se pueden descargar de http://hlmsoft.net/od. 


Notas 


. Estrictamente hablando, las muestras se extraen de los marcos muestrales. En 
este análisis, se supone que el marco muestral coincide perfectamente con la 
población. 

. Como se señaló en la segunda parte, el cumplimiento supone que todas las 
unidades asignadas al grupo de tratamiento son tratadas y que todas las 
unidades asignadas al grupo de comparación no son tratadas. 

. En este contexto, el término población no se refiere a la población del país, 
sino al conjunto del grupo de niños que nos interesan: la población de 
interés. 

. Esta idea se concreta en el teorema denominado “teorema del límite central”. 
En términos formales, en el caso de un resultado y, el teorema del límite central 
establece que la media de la muestra y constituye en promedio una estimación 
válida de la media de la población. Además, para un tamaño de muestra n y una 
varianza de la población o°, la varianza de la media de la muestra es inversa- 
mente proporcional al tamaño de la muestra: 


o? 


var(y)= e 
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A medida que aumenta el tamaño de la muestra n, las estimaciones de la 
varianza de la muestra tienden hacia cero. En otras palabras, la media se estima 
con más precisión en muestras grandes que en pequeñas. 

5. Las cuestiones de índole social y política, que hacen imposible la asignación 
aleatoria en los clusters suelen requerir la asignación de beneficios por cluster. 
En el contexto de una evaluación de impacto, la configuración de clusters suele 
ser necesaria debido a los probables efectos de derrame, o a la contaminación 
de los beneficios del programa entre los individuos en los clusters. Véase el 
tratamiento de este tema en el capítulo 11. 


6. Cuando se calcula la potencia desde la línea de base, la correlación entre los 
resultados a lo largo del tiempo también se debe considerar en el cálculo de 
potencia. 

7. Por ejemplo, Spybrook et al. (2008) introdujeron el Optimal Design, un 
programa informático fácil de usar para efectuar cálculos de potencia. 

8. En general, es deseable contar con grupos de tratamiento y de comparación del 
mismo tamaño. De hecho, para cierto número de observaciones en una 
muestra, se maximiza la potencia asignando la mitad de las observaciones al 
grupo de tratamiento y la otra mitad al grupo de comparación. Sin embargo, los 
grupos de tratamiento y de comparación no siempre tienen que tener el mismo 
tamaño. 

9. Los costos del tratamiento también se pueden tener en cuenta y generar grupos 
de tratamiento y comparación que no tienen el mismo tamaño. Véase, por 
ejemplo Duflo et al. (2007). 


10. Véase, por ejemplo Duflo et al. (2007) o Schochet (2008). 
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Capitulo 16 


Encontrando fuentes adecuadas 


de datos 


Tipos de datos necesarios 


En este capítulo se analizan las diversas fuentes de datos que pueden utilizar 
las evaluaciones de impacto. En primer lugar, se estudian las fuentes de 
datos existentes, sobre todo los datos administrativos, y se proporcionan 
algunos ejemplos de evaluaciones de impacto que han aprovechado datos 
existentes. Dado que muchas evaluaciones requieren la recopilación de 
datos nuevos, también se examinan los pasos en la recopilación de nuevos 
datos de las encuestas. Una comprensión clara de estos pasos contribuirá a 
asegurar que la evaluación de impacto se base en datos de calidad que no 
comprometan el diseño de evaluación. Como primer paso, habrá que con- 
tratar la elaboración de un cuestionario adecuado. Paralelamente, se necesi- 
tará ayuda de una empresa o un organismo del gobierno especializado en 
recopilación de datos. La entidad de recopilación de datos reclutará y 
capacitará al personal de campo y realizará una prueba piloto del cuestiona- 
rio. Después de introducir los ajustes necesarios, la empresa o el organismo 
podrán proceder con el trabajo de campo, recopilar los datos, digitalizarlos 
y procesarlos antes de que puedan ser entregados, almacenados y analiza- 
dos por el equipo de evaluación. 

Para evaluar el impacto de la intervención en los resultados de interés, se 
requieren datos de buena calidad. La cadena de resultados que se expone en 
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Concepto clave 

Los indicadores son 
necesarios en toda la 
cadena de resultados. 
Constituyen la 
verificación para medir 
los resultados finales y 
los resultados 
intermedios, así como 
los beneficios y la 
calidad de implemen- 


tación del programa. 
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el capítulo 2 proporciona una base para definir qué indicadores deberían 
medirse y cuándo. Los indicadores son necesarios en toda la cadena de 
resultados. 

Datos sobre los resultados. La primera y principal necesidad son los datos 
sobre los indicadores de resultado directamente afectados por el programa. 
Los indicadores de resultado están vinculados con los objetivos que el pro- 
grama pretende alcanzar. Como se señaló en el capítulo 2, los indicadores de 
resultado deben seleccionarse preferiblemente para que sean específicos, 
medibles, atribuibles, realistas y focalizados (EMARF). No obstante, la 
evaluación de impacto no debe medir solo aquellos resultados de los que el 
programa rinde directamente cuentas. Los datos sobre los indicadores de 
resultados que el programa afecta indirectamente, o los indicadores que 
capturan los efectos no intencionados del programa, maximizarán el valor 
de la información que genera la evaluación de impacto, así como la com- 
prensión de la efectividad general del programa. 

Datos sobre los resultados intermedios. Por otro lado, los datos sobre los 
resultados intermedios son útiles para ayudar a entender los canales a tra- 
vés de los cuales el programa evaluado ha tenido impacto -o no lo ha 
tenido- en los resultados finales de interés. Normalmente, las evaluaciones 
de impacto se llevan a cabo a lo largo de diversos períodos y se debe definir 
cuándo medir los indicadores de resultados. Siguiendo esta cadena de 
resultados, se puede establecer una jerarquía de indicadores de resultado, 
que abarca desde los indicadores de corto plazo, que se pueden medir 
mientras los participantes todavía están en el programa, como la asistencia 
escolar registrada en una encuesta de seguimiento de corto plazo en el 
contexto de un programa educativo, hasta las encuestas de seguimiento de 
más largo plazo, como el aprendizaje escolar o la inserción en el mercado 
laboral, que se pueden medir en una encuesta de seguimiento a más largo 
plazo después de que los participantes han dejado el programa. Para medir 
el impacto a lo largo del tiempo de manera convincente es necesario contar 
con datos de la línea de base antes de implementar el programa o la innova- 
ción que se evalúa. La sección del capítulo 12 que versa sobre la programa- 
ción en el tiempo de la evaluación arroja luz sobre cómo definir el momento 
en que se recopilan los datos. 

Como se señaló en el capítulo 15, en el contexto de los cálculos de poten- 
cia, cuando las muestras son relativamente pequeñas, algunos indicadores 
pueden no ser adecuados para la evaluación de impacto. Detectar el impacto 
de una intervención cuyos indicadores son extremadamente variables, se 
refieren a sucesos poco frecuentes o solo se ven afectados de forma margi- 
nal por la intervención, puede requerir muestras demasiado grandes. Por 
ejemplo, solo será posible determinar el impacto de una intervención sobre 
las tasas de mortalidad materna si se dispone de una muestra de decenas de 
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miles de mujeres embarazadas, dado quelamortalidad es (afortunadamente) 
un hecho excepcional. En ese caso, puede que sea necesario replantear la 
evaluación de impacto y focalizarla en indicadores más intermedios, 
relacionados con los resultados finales, pero para los cuales hay suficiente 
potencia como para detectar efectos. En el caso de una intervención cuyo 
fin es reducir la mortalidad materna, un indicador intermedio podría estar 
vinculado con la utilización de los servicios de salud durante el embarazo, y 
con los partos en los centros de salud, que están asociados con la mortali- 
dad. Los cálculos de potencia analizados en el capítulo 15 pueden contri- 
buir a arrojar luz sobre los indicadores en los que se detectan impactos y 
aquellos en los que puede ser más difícil detectar impactos sin muestras 
muy grandes. 

Datos sobre las actividades y productos del programa. También se requie- 
ren indicadores para la parte de la cadena de resultados que describe las 
actividades y productos del programa. Concretamente, los datos de monito- 
reo del programa pueden proporcionar información esencial sobre las pres- 
taciones de la intervención. En particular, los datos de monitoreo incluyen 
definiciones sobre quiénes son los beneficiarios y qué beneficios o produc- 
tos del programa pueden haber recibido. Como mínimo, se necesitan datos 
de monitoreo para saber cuándo comienza un programa y quién recibe 
beneficios, así como para proporcionar una medida de la intensidad o cali- 
dad de la intervención. Esto es particularmente importante en los casos en 
que un programa puede no llegar a todos los beneficiarios con el mismo 
contenido, calidad o duración. Es esencial tener una comprensión adecuada 
de la medida en que la intervención se ha implementado siguiendo el diseño, 
para interpretar los resultados de la evaluación de impacto, lo que incluye 
saber si destacan la efectividad del programa puesto en marcha según el 
diseño o si hay deficiencias en su implementación. 

Datos adicionales. Puede que se precisen otros datos para la evaluación 
de impacto, lo cual depende de la metodología usada. Los datos sobre otros 
factores que pueden influir en el resultado de interés pueden ser necesarios 
para controlar por influencias externas. Este aspecto es particularmente 
importante cuando se utilizan métodos de evaluación que dependen de más 
supuestos que los métodos aleatorios. A veces también es necesario tener 
datos sobre los resultados y otros factores a lo largo del tiempo para calcular 
tendencias, como sucede con el método de diferencias en diferencias. Dar 
cuenta de otros factores y tendencias anteriores también contribuye a 
aumentar la potencia estadística. Incluso con la asignación aleatoria, los 
datos sobre otras características pueden ayudar a estimar los efectos del tra- 
tamiento con más precisión. También pueden ser utilizados para incluir 
controles adicionales o analizar la heterogeneidad de los efectos del pro- 
grama en características relevantes. 
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El diseño seleccionado para la evaluación de impacto también afectará a 
los requisitos de datos. Por ejemplo, si se elige el método de pareamiento o 
de diferencias en diferencias, habrá que recolectar datos sobre una gama 
muy amplia de características para los grupos tanto de tratamiento como de 
comparación, lo que hace posible ejecutar una serie de pruebas de robustez, 
como se explicó en la segunda parte o en el capítulo 11 (véase el cuadro 11.2). 

Para cada evaluación, resulta útil desarrollar una matriz que enumere las 
preguntas de interés, los indicadores de resultado para cada pregunta y la 
fuente de los datos, como se describe en el gráfico 2.1 del capítulo 2 sobre la 
cadena de resultados. La elaboración de un plan de evaluación de impacto y 
el contar con un plan de preanálisis constituyen otras oportunidades esen- 
ciales para definir una lista precisa de indicadores clave requeridos en las 
evaluaciones de impacto. 


La utilización de datos cuantitativos existentes 


Una de las primeras cuestiones que se debe considerar cuando se diseña una 
evaluación de impacto es qué fuente de datos se utilizará. Una considera- 
ción fundamental es si la evaluación de impacto dependerá de datos exis- 
tentes o si requerirá la recopilación de datos nuevos. 

Casi siempre se necesitan datos existentes al comienzo de una evaluación 
de impacto para estimar los valores de referencia de los indicadores o para 
efectuar cálculos de potencia, como se analizó en el capítulo 15. Después de 
la fase de planificación, la disponibilidad de datos existentes puede dismi- 
nuir de forma considerable el costo de una evaluación de impacto. Si bien es 
probable que los datos existentes y, en particular los datos administrativos, 
sean subutilizados en la evaluación de impacto en general, la viabilidad de 
usar datos existentes en la evaluación de impacto tiene que ser valorada con 
detenimiento. 

De hecho, como se señaló en el capítulo 12, la recopilación de datos suele 
representar el mayor costo de una evaluación de impacto. Sin embargo, para 
determinar si los datos existentes se pueden utilizar en una determinada 
evaluación de impacto, debe tenerse en cuenta una serie de preguntas: 


e El muestreo. ¿Se dispone de datos existentes tanto para el grupo de trata- 
miento como para el grupo de comparación? ¿Las muestras existentes se 
han extraído de un marco muestral que coincide con la población de 
interés? Las unidades del marco muestral, ¿se han obtenido mediante un 
procedimiento de muestreo probabilístico? 


e Tamaño de la muestra. ¿Las series de datos son suficientemente grandes 
para detectar cambios en los indicadores de resultado con suficiente 
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potencia? La respuesta a esta pregunta depende de la elección de los 
indicadores de resultado, así como de los resultados de los cálculos de 
potencia tratados en el capítulo 15. 


e Disponibilidad de datos de línea de base. ¿Los datos existentes disponibles 
tanto para los grupos de tratamiento como de comparación son anterio- 
res a la implementación del programa o de la innovación que se evalúa? 
La disponibilidad de datos en línea de base es esencial para documentar 
el equilibrio en las características previas del programa entre los grupos 
de tratamiento y de comparación cuando se utilizan métodos aleatorios, y 
son esenciales para la implementación de diseños cuasi experimentales. 


e Frecuencia. ¿Los datos existentes son recopilados con suficiente fre- 
cuencia? ¿Se dispone de ellos para todas las unidades de la muestra a lo 
largo del tiempo, incluyendo los momentos en que hay que medir los 
indicadores de resultado según la cadena de resultados y la lógica de la 
intervención? 


e Alcance. ¿Los datos existentes contienen todos los indicadores necesa- 
rios para responder a las preguntas de interés de las políticas, incluyendo 
los principales indicadores de resultado y los resultados intermedios de 
interés? 


e Vínculos con la información de monitoreo del programa. ¿Los datos exis- 
tentes se pueden vincular a datos del monitoreo de la implementación 
del programa, lo que implica observar qué unidades pertenecen a los gru- 
pos de tratamiento y de comparación, y si todas las unidades asignadas al 
grupo de tratamiento reciben los mismos beneficios? 


e Identificadores únicos. ¿Existen identificadores únicos que vinculen dife- 
rentes fuentes de datos? 


Como lo subrayan las preguntas anteriores, los requisitos para los datos 
existentes son bastante importantes, y no es habitual que los datos existen- 
tes resulten suficientes para las evaluaciones de impacto. Aun así, con el 
rápido crecimiento en el alcance y la cobertura de los sistemas de informa- 
ción, y con la evolución general hacia un mundo en que los datos digitales de 
una amplia gama de fuentes se almacenan de manera periódica, cada vez 
más evaluaciones de impacto pueden contemplar el uso de datos existentes. 
Se puede utilizar una gama de fuentes potenciales de datos existentes en las 
evaluaciones de impacto, lo cual abarca datos censales, encuestas nacionales 
o datos administrativos. 

Los datos del censo de población pueden proporcionar información 
exhaustiva sobre toda la población. Se pueden utilizar para las evaluacio- 
nes de impacto cuando están disponibles en un nivel suficientemente 
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desagregado e incluyen detalles para saber qué unidades pertenecen al 
grupo de tratamiento o de comparación, como los identificadores geográ- 
ficos o personales. Los datos censales no se recopilan a menudo, y normal- 
mente incluyen solo un pequeño conjunto de indicadores clave. Sin 
embargo, en ocasiones dichos datos se recopilan para incluirse en sistemas 
de información o registros que proporcionan la base para definir los obje- 
tivos de los programas públicos, lo que incluye identificadores únicos que 
pueden servir de soporte a vinculos con otras bases de datos existentes. 

Las encuestas representativas a nivel nacional, como las encuestas de 
hogares, las encuestas de medición de los niveles de vida, las encuestas de la 
fuerza laboral, las encuestas demográficas y de salud, las encuestas de 
empresas o las encuestas de instalaciones también se pueden contemplar. 
Estas pueden contener un conjunto exhaustivo de variables de resultado, 
pero rara vez cuentan con suficientes observaciones, tanto del grupo de 
tratamiento como de comparación, para llevar a cabo una evaluación de 
impacto. Supóngase, por ejemplo, que se desea evaluar un programa nacio- 
nal de gran alcance que llega al 10% de los hogares en un determinado país. 
Si una encuesta representativa a nivel nacional se lleva a cabo en 5.000 
hogares cada año, esta puede contener alrededor de 500 hogares que reciben 
el programa en cuestión. ¿Es la muestra lo bastante grande para llevar a cabo 
una evaluación de impacto? Los cálculos de potencia pueden responder a 
esta pregunta, pero en muchos casos la respuesta es negativa, 

Además de determinar si se pueden utilizar las encuestas existentes, 
también se debe averiguar si se están planificando nuevas iniciativas de 
recopilación de datos nacionales. Si se planifica una encuesta que cubrirá 
la población de interés, quizá también se pueda introducir una pregunta 
o una serie de preguntas como parte de esa encuesta. Si ya se ha pla- 
neado una encuesta que mide los indicadores requeridos, existe la 
posibilidad de sobre muestrear una determinada población para asegu- 
rar una cobertura adecuada en los grupos de tratamiento y comparación 
y acomodar la evaluación de impacto. Por ejemplo, la evaluación del 
Fondo Social de Nicaragua complementó un estudio nacional de medi- 
ción de los niveles de vida con una muestra adicional de beneficiarios 
(Pradhan y Rawlings, 2002). 

Los datos administrativos suelen ser recopilados por organismos públicos 
o agencias privadas como parte de sus operaciones regulares, normalmente 
con cierta frecuencia, y a menudo para monitorear los servicios prestados o 
registrar interacciones con los usuarios. En algunos casos, los datos admi- 
nistrativos contienen los indicadores de resultado necesarios para una eva- 
luación de impacto. Por ejemplo, los sistemas educativos cuentan con 
registros de la matriculación y asistencia de los alumnos y de las calificacio- 
nes de las pruebas, y también pueden recopilar información sobre los 
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insumos escolares y los maestros. De la misma manera, los sistemas de salud 
pueden reunir datos sobre las características y localización de los centros de 
salud, la oferta de servicios de salud y la asignación de recursos. También 
pueden consolidar datos recopilados en centros de salud sobre los historia- 
les médicos de los pacientes, datos antropométricos, historiales de vacuna- 
ciones y, de manera más amplia, datos sobre la incidencia delas enfermedades 
y estadísticas vitales. Las empresas de servicios públicos reúnen datos sobre 
el consumo de agua o electricidad. Las agencias tributarias pueden recoger 
datos sobre los ingresos y los impuestos. Los sistemas de transporte recopi- 
lan datos sobre los pasajeros y los tiempos de viaje. Las empresas del sistema 
financiero recopilan datos sobre las transacciones o el historial crediticio de 
los clientes. Todas estas fuentes de datos existentes pueden ser potencial- 
mente utilizadas en las evaluaciones de impacto. A veces incluyen series 
temporales extensas, que pueden contribuir a seguir a las unidades a lo largo 
del tiempo. 

Es crucial realizar un diagnóstico de la disponibilidad y calidad de los 
datos cuando se considera la posibilidad de utilizar datos administrativos. 
En algunos casos, los datos de las fuentes administrativas pueden ser más 
fiables que los datos de las encuestas. Por ejemplo, un estudio en Malawi 
reveló que los encuestados daban información falsa sobre la asistencia y 
matriculación escolar en una encuesta de hogares, en comparación con los 
registros administrativos obtenidos en las escuelas; por lo tanto, los resul- 
tados de la evaluación de impacto eran más fiables si se basaban en los 
datos administrativos (Baird y Ozler, 2012). Al mismo tiempo, en numero- 
sos contextos, los datos administrativos son recopilados por un gran 
número de proveedores y pueden ser de calidad desigual. Por lo tanto, su 
fiabilidad debe valorarse detenidamente antes de tomar la decisión de tra- 
bajar con datos administrativos en la evaluación de impacto. Un aspecto 
crucial consiste en asegurar que existan identificadores únicos para vin- 
cular los datos administrativos con otras fuentes de datos, incluyendo 
datos sobre el monitoreo del programa que documentan qué unidades han 
recibido los beneficios del programa. Cuando estos identificadores exis- 
ten, como los números de identificación nacional usados de manera 
consistente, se puede evitar una gran cantidad de trabajo para preparar y 
limpiar los datos. En todos los casos, la protección de la confidencialidad 
es una parte importante de la preparación de los datos y del protocolo de 
gestión de datos. Los principios éticos que rigen la protección de sujetos 
humanos (véase el debate en el capítulo 13) también rigen el uso que se 
hace de datos existentes. 

Algunas evaluaciones retrospectivas influyentes han trabajado con 
registros administrativos: Galiani, Gertler y Schargrodsky (2005), sobre 
la política de aguas en Argentina; Ferraz y Finan (2008) sobre auditorías y 
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desempeño de los políticos, y Chetty, Friedman y Sáez (2013) sobre los crédi- 
tos fiscales en Estados Unidos. En el recuadro 16.1 se presenta un ejemplo de 
evaluación de impacto de salud en Argentina. Por su parte, el recuadro 16.2 
ilustra el uso de datos administrativos en la evaluación de impacto de un 
programa de transferencias monetarias en Honduras. 

En algunos casos, los datos requeridos para la evaluación de impacto se 
pueden recopilar implementando nuevos sistemas de información o de 
datos administrativos. Esta implementación se puede coordinar con la de un 
diseño de evaluación, de modo que los indicadores de resultado se recopilen 
para un grupo de tratamiento y un grupo de comparación en múltiples 
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Recuadro 16.1: Elaboración de una base de datos en la evaluación 


del Plan Nacer de Argentina 


Al evaluar el programa de financiamiento de la 
salud basado en resultados de Argentina, Plan 
Nacer, Gertler, Giovagnoli y Martínez (2014) 
combinaron datos administrativos de diversas 
fuentes para formar una base de datos grande 
y exhaustiva para el análisis. Después de la 
falta de éxito de diversas estrategias de eva- 
luación anteriores, los investigadores adopta- 
ron un enfoque de variables instrumentales. 
Esto requirió una cantidad sustancial de datos 
del universo de los registros de nacimientos 
de las siete provincias estudiadas. 

Los investigadores necesitaban datos 
sobre la atención prenatal y los resultados al 
nacer, que se podían encontrar en los regis- 
tros de nacimientos de los hospitales públi- 
cos. Luego tuvieron que determinar si la 
madre era beneficiaria del Plan Nacer y si la 
clínica que visitaba estaba incorporada en el 
programa en el momento de la visita. Para 
construir una base de datos con toda esta 
información, el equipo de evaluación vinculó 
cinco diferentes fuentes de datos, inclu- 
yendo las bases de datos de los hospitales 
públicos de maternidad, los datos de imple- 
mentación del programa Plan Nacer, los 


Fuente: Gertler, Giovagnoli y Martínez (2014). 


registros farmacéuticos, el censo de pobla- 
ción de 2001 e información geográfica de los 
centros de salud. La obtención de historiales 
médicos de los nacimientos individuales en 
los hospitales de maternidad fue una de las 
tareas más difíciles. Cada hospital de mater- 
nidad recopilaba datos sobre la atención pre- 
natal y los resultados al nacer, pero solo 
cerca de la mitad de los registros estaban 
digitalizados. El resto se componía de docu- 
mentos en papel, por lo que el equipo de eva- 
luación tuvo que ingresar los registros en 
papel en el sistema computarizado. 

El equipo compiló una base de datos 
exhaustiva del 78% de los nacimientos ocu- 
rridos durante el período de evaluación. Esto 
generó una base de datos grande que les 
permitió examinar el impacto del Plan Nacer 
en sucesos relativamente raros, como la 
mortalidad neonatal. Normalmente, esto no 
es posible en las evaluaciones con muestras 
más pequeñas recopiladas a través de 
encuestas. La evaluación determinó que los 
beneficiarios del Plan Nacer tenían una proba- 
bilidad un 74% menor de mortalidad neonatal 
en el hospital que los no beneficiarios. 
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Recuadro 16.2: Utilización de datos censales para reevaluar el 


PRAF en Honduras 


El objetivo del Programa de Asignación 
Familiar (PRAF), de Honduras, es mejorar 
los resultados educativos y de salud de los 
niños pequeños que viven en condiciones 
de pobreza. Proporciona transferencias 
monetarias a hogares elegibles en función 
de la asistencia escolar y de las visitas a un 
centro de salud de manera regular. El pro- 
grama comenzó en 1990. Un componente 
de la evaluación se incluyó en la segunda 
fase del PRAF en 1998. Glewwe y Olinto 
(2004) y Morris et al. (2004) informaron de 
impactos positivos en los resultados en edu- 
cación y salud. 

Varios años más tarde, Galiani y McEwan 
(2013) reevaluaron el impacto del programa, 
utilizando una fuente de datos diferente. 
Mientras que la evaluación de impacto origi- 
nal había recopilado datos de encuesta de 
70 municipios sobre un total de 298, Galiani 
y McEwan utilizaron datos del censo de 
Honduras de 2001. Así, fusionaron los datos 
individuales y de los hogares del censo con 
los datos a nivel municipal sobre las comuni- 
dades tratadas. Esto proporcionó a los 


Fuente: Galiani y McEwan (2013). 


investigadores un tamaño muestral más 
grande, lo que les permitió poner a prueba la 
robustez de los hallazgos, además de los 
efectos de derrame. Por otro lado, dado que 
contaban con datos del censo de todos los 
municipios, pudieron aplicar dos diseños de 
regresión discontinua diferentes utilizando 
grupos de comparación alternados. Para el 
primer diseño de regresión discontinua, utili- 
zaron el umbral de elegibilidad; para el 
segundo, los límites del municipio. 

Al igual que en las evaluaciones de 
impacto anteriores, Galiani y McEwan 
encontraron impactos positivos y estadísti- 
camente significativos a partir del programa. 
Sin embargo, sus estimaciones indicaban 
que el PRAF había tenido un impacto mucho 
mayor que el impacto encontrado en la eva- 
luación original. Observaron que el PRAF 
aumentaba la matriculación escolar en los 
niños elegibles en un 12% más que en el 
grupo de comparación. Los resultados de 
los diseños de regresión discontinua alterna- 
dos generalmente confirman la robustez de 
las conclusiones. 


ocasiones. Puede que la puesta en marcha de sistemas de información se 
produzca antes de lanzar las nuevas intervenciones, de modo que los cen- 
tros administrativos en el grupo de comparación utilicen el nuevo sistema 
de información antes de recibir la intervención que se evalúa. Dado que la 
calidad de los datos administrativos puede variar, requieren una auditoría y 
una verificación externa para garantizar la fiabilidad de la evaluación. 
Recoger datos de la evaluación de impacto a través de fuentes administrati- 
vas en lugar de hacerlo a través de encuestas puede reducir drásticamente el 
costo de una evaluación, pero no siempre es viable. 

Aun cuando los datos existentes no sean suficientes paratoda la evaluación 
de impacto, a veces pueden ser utilizados en partes de la evaluación. 
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Por ejemplo, en algunos casos, los programas recopilan datos detallados 
sobre beneficiarios potenciales para definir quién es elegible. O puede que 
los datos del censo estén disponibles poco antes de que un programa se 
implemente. En esos casos, los datos existentes a veces pueden ser utilizados 
para documentar un equilibrio de línea de base, en las características ante- 
riores al programa, entre los grupos de tratamiento y comparación, aunque 
se seguirían necesitando datos de seguimiento adicionales para medir un 
conjunto más amplio de indicadores de resultados. 


La recopilación de datos de nuevas encuestas 


Los datos existentes son suficientes para toda una evaluación de impacto 
solo en casos relativamente raros. Si los datos administrativos no son 
suficientes para la evaluación, muy posiblemente habrá que depender de 
datos de encuestas. Como consecuencia, lo más probable es que se tenga que 
presupuestar la recopilación de nuevos datos. A pesar de que la recopilación 
de datos suele implicar el mayor costo de una evaluación de impacto, tam- 
bién puede ser una inversión de alto retorno de la que a menudo depende la 
calidad de la evaluación. La recopilación de nuevos datos proporciona la fle- 
xibilidad para garantizar que se midan todos los indicadores necesarios para 
una evaluación integral del desempeño del programa. 

La mayoría de las evaluaciones de impacto requieren recopilar datos de 
encuestas, incluyendo al menos una encuesta de línea de base antes de la 
intervención o innovación que se evalúa, y una encuesta de seguimiento 
después de que se ha implementado la intervención. Los datos de las encues- 
tas pueden ser de diversos tipos, en función del programa que se evalúa y de 
la unidad de análisis. Por ejemplo, las encuestas de empresas utilizan a las 
firmas como la principal unidad de observación, las encuestas de instalacio- 
nes utilizan los centros de salud o las escuelas como la principal unidad de 
observación, y las encuestas de hogares utilizan los hogares como la princi- 
pal unidad de observación. La mayoría de las evaluaciones dependen de 
encuestas individuales o de hogares como fuente primaria de datos. En esta 
sección, se revisan algunos principios generales de la recopilación de datos 
de las encuestas. Aunque estos se refieren sobre todo a las encuestas de 
hogares, los mismos principios son válidos para la mayoría de otros tipos de 
datos de encuestas. 

El primer paso para decidir si utilizar los datos existentes o recopilar 
nuevos datos mediante encuestas será determinar el enfoque del muestreo, 
así como el tamaño necesario de la muestra (como se analizó en el 
capítulo 15). Una vez que se decida recopilar datos de encuestas para la 
evaluación, habrá que: 
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e Determinar quién recopilará los datos. 

e Desarrollar y poner a prueba el instrumento de recopilación de datos. 
e Llevar a cabo un trabajo de campo y realizar el control de calidad. 

e Procesar y almacenar los datos. 


La implementación de estos diversos pasos se suele contratar, pero es esen- 
cial que se comprendan su alcance y sus componentes clave para poder 
gestionar efectivamente una evaluación de impacto de calidad. 


Determinar quién recopilará los datos 


Es necesario designar con antelación a la agencia encargada de recopilar los 
datos. Al momento de decidir quién lo haría, habrá varias consideraciones. 
Los candidatos potenciales para esta tarea son: 


e La institución a cargo de implementar el programa. 


e Otra institución gubernamental con experiencia en la recopilación de 
datos (como una agencia estadística nacional). 


e Una empresa independiente o institución especializada en recopilación 
de datos. 


La entidad que recopile los datos siempre tiene que coordinarse estrecha- 
mente con el organismo que implemente el programa. Se requiere una estre- 
cha coordinación para garantizar que las operaciones del programa no se 
pongan en marcha antes de recopilar los datos de línea de base. Cuando se 
necesitan datos de línea de base para el funcionamiento del programa (por 
ejemplo, datos para un índice de focalización, en el contexto de una evalua- 
ción basada en un diseño de regresión discontinua), la entidad encargada de 
la recopilación de datos debe ser capaz de procesar los mismos rápidamente 
y transmitirlos a la institución encargada de las operaciones del programa. 
También se requiere una coordinación estrecha de la programación de la 
recopilación de datos de la encuesta de seguimiento. Por ejemplo, si se ha 
elegido una implementación con asignación aleatoria, la encuesta de segui- 
miento debe llevarse a cabo antes de que el programa se ponga en marcha en 
el grupo de comparación, para evitar la contaminación. 

Un factor sumamente importante en la decisión de quién recopilará los 
datos es la utilización de los mismos procedimientos de recopilación de 
datos en los grupos de comparación y de tratamiento. A menudo la agencia 
de implementación tiene contacto solo con el grupo de tratamiento y no está 
en una buena posición para recopilar datos de los grupos de comparación. 
Sin embargo, utilizar diferentes organismos de recopilación de datos para 


Encontrando fuentes adecuadas de datos 


333 


Concepto clave 


Deben utilizarse los 
mismos procedimien- 
tos de recopilación de 
datos tanto en los 
grupos de comparación 


como de tratamiento. 
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los grupos de tratamiento y de comparación es muy riesgoso, dado que esto 
puede crear diferencias en los resultados medidos en los dos grupos senci- 
llamente porque los procedimientos de recopilación de datos son diferen- 
tes. Si la agencia ejecutora no puede recopilar datos efectivamente de los 
grupos de tratamiento y de comparación, debería contemplarse seriamente 
la posibilidad de contratar una institución o agencia externa. 

En algunos contextos, también puede ser recomendable contratar una 
agencia independiente para recoger los datos con el fin de garantizar que 
estos se consideren objetivos. Puede que no se justifiquen las preocupacio- 
nes de que la agencia ejecutora del programa no recopile datos objetivos, 
pero un organismo de recopilación de datos independiente que no tiene 
intereses en juego en los resultados de la evaluación añade credibilidad al 
esfuerzo general de evaluación de impacto. También puede garantizar que 
los encuestados no perciban la encuesta como parte del programa y, de esta 
manera, se minimiza el riesgo de que los encuestados den respuestas estra- 
tégicas intentando aumentar lo que perciben como la posibilidad de partici- 
par en un programa. 

Dado que la recopilación de datos comprende una secuencia compleja de 
operaciones, se recomienda que una entidad especializada y experimentada 
sea la responsable. Hay pocos organismos ejecutores de programas con sufi- 
ciente experiencia para recopilar los datos a gran escala y preservar la cali- 
dad, ambos criterios necesarios para una evaluación de impacto. Enla mayoría 
de los casos, se tendrá que pensar en contratar a una institución local, como 
una agencia estadística nacional o una empresa o think tank especializados. 

La contratación de una institución local, como una agencia estadística 
nacional, puede exponer a la institución a los estudios de evaluación de 
impacto y contribuir a mejorar su capacidad, lo cual en sí mismo puede ser 
un beneficio secundario de la evaluación de impacto. Sin embargo, las agen- 
cias estadísticas nacionales no siempre tendrán la capacidad logística para 
asumir otros encargos además de sus actividades regulares. Puede que tam- 
bién carezcan de la experiencia necesaria para llevar a cabo encuestas para 
las evaluaciones de impacto, como la experiencia de efectuar un seguimiento 
exitoso de los individuos a lo largo del tiempo, o para aplicar instrumentos 
de encuesta no tradicionales. Si estas limitaciones aparecen, contratar una 
empresa independiente o institución especializada en recopilación de datos 
puede ser lo más práctico. 

No siempre es necesario que sea la misma entidad la que recopila infor- 
mación de las encuestas de línea de base y de seguimiento, dado que pueden 
variar en su alcance. Por ejemplo, en una evaluación de impacto de un pro- 
grama de capacitación cuya población de interés está compuesta por los indi- 
viduos que se inscribieron en el curso, la institución a cargo del curso podría 
recopilar los datos de línea de base cuando los individuos se inscriben. 
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Sin embargo, es poco probable que la misma agencia también sea la mejor 
opción para recopilar información de seguimiento, tanto para los grupos de 
tratamiento como de comparación. En este contexto, contratar rondas de 
recopilación de datos por separado tiene sus ventajas, pero se debería hacer 
un esfuerzo para no perder información entre las rondas, información que 
será útil para hacer un seguimiento de los hogares o de los individuos, así 
como para asegurar que los datos de línea de base y de seguimiento se midan 
de manera consistente. 

A fin de decidir cuál es la mejor institución para recopilar los datos de la 
evaluación de impacto, deben sopesarse todos estos factores (experiencia en 
la recopilación de datos, capacidad de coordinar con la agencia ejecutora del 
programa, independencia, oportunidades para la mejora de capacidades, 
adaptabilidad al contexto de la evaluación de impacto), junto con el costo 
previsto y la probable calidad de los datos obtenidos en cada caso. Una 
manera efectiva de identificar la organización mejor situada para recopilar 
datos de calidad consiste en redactar términos de referencia claros y pedir a 
las organizaciones que presenten propuestas técnicas y financieras. 

Dado que la entrega oportuna y la calidad de los datos suelen ser cruciales 
para la fiabilidad de la evaluación de impacto, el contrato para la agencia 
encargada de la recopilación de datos debe estructurarse con gran cuidado. El 
alcance del trabajo previsto y los productos deben definirse con suma clari- 
dad. Además, se recomienda introducir incentivos en los contratos y vincular 
esos incentivos a indicadores claros de la calidad de los datos. Por ejemplo, la 
tasa de falta de respuesta es un indicador clave de la calidad de los datos. Para 
crear incentivos con el fin de que las agencias de recopilación de datos mini- 
micen las no respuestas, el contrato puede estipular un costo unitario para el 
primer 80% de la muestra, un costo unitario superior para las unidades de 
entre el 80% y el 90% y, una vez más, un costo unitario superior para las uni- 
dades de entre el 90% y el 100%. Como alternativa, se puede redactar un con- 
trato por separado para que la empresa encuestadora realice un seguimiento 
de los no encuestados. Además, el contrato de la empresa de recopilación de 
datos puede incluir incentivos o condiciones relacionadas con la verificación 
de la calidad de los datos, como comprobaciones externas o auditorías de cali- 
dad de una submuestra de la encuesta de evaluación de impacto. 


La elaboración del instrumento de recopilación de datos y las 
pruebas piloto 


Al contratar la recopilación de datos, el equipo de evaluación desempeña un 
rol clave proporcionando orientación especifica sobre el contenido de los 
instrumentos o cuestionarios de la recopilación de datos. Los instrumentos 
de recopilación de datos deben obtener toda la información requerida para 
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responder a la pregunta de las políticas definida por la evaluación de 
impacto. Como ya se ha señalado, los indicadores deben medirse alo largo de 
la cadena de resultados, lo que incluye los indicadores de los resultados fina- 
les, los resultados intermedios y las medidas de los beneficios y la calidad de 
la implementación del programa. 

Es importante ser selectivo acerca de qué indicadores medir. Ser selectivo 
contribuye a limitar los costos de recopilación de datos, simplifica la tarea de 
la agencia de recopilación y mejora la calidad de los datos recopilados mini- 
mizando las demandas de tiempo para encuestadores y encuestados. La 
recopilación de información que es irrelevante o que probablemente no se 
utilizará tiene un costo muy alto. Los datos adicionales requieren más tiempo 
de preparación, capacitación, recopilación y procesamiento. Con una dispo- 
nibilidad y una capacidad de atención limitadas, puede que los encuestados 
proporcionen información de calidad cada vez más inferior a medida que la 
encuesta avanza, y los entrevistadores tendrán incentivos extra para ahorrar 
tiempo con el fin de cumplir con sus objetivos de la encuesta. Por lo tanto, las 
preguntas superfluas no son “gratis”. Tener objetivos claros para la evalua- 
ción de impacto, alineados con objetivos del programa bien definidos, puede 
ayudar a priorizar la información necesaria. Un plan de preanálisis elabo- 
rado con antelación (véanse los detalles en los capítulos 12 y 13) contribuirá 
a asegurar que la encuesta recopile los datos requeridos para el análisis de 
impacto y evitar la inclusión de información superflua (y costosa). 

Es preferible recopilar datos sobre los indicadores de resultado y las 
características de control de manera consistente en la línea de base y en el 
seguimiento. Contar con datos de línea de base es sumamente recomenda- 
ble. Aun cuando se utilice una asignación aleatoria o un diseño de regresión 
discontinua, donde en principio se pueden usar sencillas diferencias des- 
pués de la intervención para estimar el impacto de un programa, los datos de 
línea de base son esenciales para probar si el diseño de la evaluación de 
impacto es adecuado (véase el debate en la segunda parte). Contar con datos 
de línea de base puede servir como póliza de seguro cuando la asignación 
aleatoria no funciona, en cuyo caso se pueden utilizar métodos de diferen- 
cias en diferencias como alternativa. Los datos de línea de base también son 
útiles durante la etapa de análisis del impacto, dado que las variables de con- 
trol de línea de base pueden contribuir a aumentar la potencia estadística y 
permitir analizar impactos en diferentes subpoblaciones. Por último, los 
datos de línea de base pueden utilizarse para mejorar el diseño del pro- 
grama. Por ejemplo, los datos de línea de base a veces permiten analizar la 
eficiencia focalizada o proporcionan información adicional sobre los bene- 
ficiarios a la agencia que implementa el programa. En algunos casos, la 
encuesta de seguimiento puede incluir un conjunto más amplio de indica- 
dores que la encuesta de línea de base. 
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Una vez que se han definido los datos centrales que se debe recopilar, el 
próximo paso consiste en determinar exactamente cómo medir esos indica- 
dores. La medición es un arte en sí misma y es preferible que de ella se ocu- 
pen los especialistas, entre los cuales se hallan el equipo de investigación de 
la evaluación de impacto, la agencia contratada para recopilar datos, los 
expertos de las encuestas y los expertos en la medición de indicadores com- 
plejos específicos. Los indicadores de resultado deberían ser lo más consis- 
tentes posible con las mejores prácticas locales e internacionales. Siempre 
es útil tener en cuenta cómo los indicadores de interés han sido medidos en 
encuestas similares, tanto a nivel local como internacional. Utilizar los mis- 
mos indicadores (lo que incluye los mismos módulos o preguntas de las 
encuestas) garantiza la comparabilidad entre los datos preexistentes y los 
datos recopilados para la evaluación de impacto. Elegir un indicador que no 
sea plenamente comparable o no esté bien medido puede limitar la utilidad 
de los resultados de la evaluación. En algunos casos, puede que tenga sen- 
tido invertir los recursos necesarios para recopilar el nuevo indicador de 
resultado “innovador”, así como una alternativa más establecida. 

Se debe prestar particular atención para asegurar que todos los indicado- 
res se puedan medir exactamente de la misma manera para todas las unida- 
des tanto del grupo de tratamiento como de comparación. La utilización de 
diferentes métodos de recopilación de datos (por ejemplo, una encuesta 
telefónica para un grupo y una encuesta presencial para otro) crea el riesgo 
de generar sesgos. Lo mismo sucede con la recopilación de datos en diferen- 
tes momentos para los dos grupos (por ejemplo, recopilar datos para el 
grupo de tratamiento durante la estación de lluvias y para el grupo de com- 
paración durante la estación seca). Por esto, los procedimientos empleados 
para medir cualquier indicador de resultado deberían formularse con suma 
precisión. El proceso de recopilación de datos debe ser exactamente el 
mismo para todas las unidades. En un cuestionario, cada módulo relacio- 
nado con el programa debe introducirse sin afectar el flujo o la formulación 
de las respuestas en otras partes del cuestionario. De hecho, cuando sea 
posible, es preferible evitar hacer cualquier distinción entre los grupos de 
tratamiento y comparación en el proceso de recopilación de datos. En la 
mayoría de los casos, la agencia que lleve a cabo la recopilación (o al menos 
los encuestadores individuales) no debe tener motivos para conocer la con- 
dición de tratamiento o de comparación de los individuos en la encuesta. 

Una decisión crucial que hay que tomar se relaciona con la forma de 
medir los indicadores de resultados, es decir: si se hace mediante encuestas 
tradicionales basadas en cuestionarios y preguntas auto-reportadas o a tra- 
vés de otros métodos. En los últimos años, se han producido varios avances 
para medir resultados o conductas clave que son relevantes en las evaluacio- 
nes de impacto. Los avances incluyen el perfeccionamiento de los métodos 
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para recopilar datos auto-reportados mediante cuestionarios, así como 
técnicas para medir directamente los resultados clave. 

El diseño del cuestionario ha sido objeto de importantes investigaciones. 
Se han escrito libros enteros sobre la mejor manera de medir indicadores 
particulares en contextos específicos, incluyendo cómo redactar las pregun- 
tas formuladas en las encuestas de hogares.' También hay una base de evi- 
dencia creciente sobre la mejor manera de diseñar cuestionarios para 
recopilar datos agrícolas, datos sobre el consumo o datos de empleo para 
maximizar su precisión.? Parte de la evidencia reciente proviene de experi- 
mentos aleatorios que prueban diferentes maneras de estructurar cuestio- 
narios y comparar su fiabilidad. De la misma manera, el diseño del 
cuestionario requiere prestar atención a las mejores prácticas internaciona- 
les y a las experiencias locales en materia de medición de indicadores. 
Pequeños cambios en la redacción o en la secuencia de las preguntas pueden 
tener efectos sustanciales en los datos recopilados, de modo que en el desa- 
rrollo del cuestionario es esencial prestar atención a los detalles. Esto es 
especialmente importante cuando se intenta asegurar la comparabilidad 
entre diferentes encuestas, lo que implica, por ejemplo, medir los resultados 
repetidas veces a lo largo del tiempo. El recuadro 16.3 aborda las directrices 
relacionadas con el diseño del cuestionario y proporciona otras referencias. 
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Recuadro 16.3: Diseño y formato de los cuestionarios 


Aunque el diseño del cuestionario en las 
evaluaciones de impacto es una parte inte- 
gral de la calidad de los datos, a menudo se 
lo ignora. El diseño de un cuestionario es un 
proceso complejo, extenso e iterativo que 
comprende numerosas decisiones a lo largo 
del camino a propósito de lo que se puede 
medir y cómo medirlo. El curso de métodos 
de evaluación de impacto aplicada de la 
Universidad de California, Berkeley (http:// 
ale.cega.org) proporciona una guía para el 
diseño del cuestionario, en el cual destacan 
tres fases: contenido, redacción y puesta a 
prueba. A lo largo de estas fases, el módulo 
subraya la importancia de involucrar a las 


partes interesadas pertinentes, y dedicar 
tiempo suficiente a las iteraciones repetidas 
y a pruebas rigurosas: 


1. Contenido. Se determina el contenido de 
una encuesta empezando por definir los 
efectos que hay que medir, las unidades 
de observación y las correlaciones con 
otros factores. Estas definiciones con- 
ceptuales luego tendrán que ser traduci- 
das en indicadores concretos. 


2. Redacción. Se redactan las preguntas 
para medir los indicadores selecciona- 
dos. Se trata de un paso crucial, dado que 
la calidad de los datos depende de ello. 


Continúa en la página siguiente. 
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Recuadro 16.3: Diseño y formato de los cuestionarios (continúa) 


El módulo ofrece recomendaciones más 
detalladas sobre la redacción de las pre- 
guntas, la organización de la encuesta, el 
formato y otras consideraciones clave. 


3. Pruebas. El cuestionario es probado en 
tres niveles: la pregunta, el módulo y el 
conjunto de la encuesta. 


El formato del cuestionario también es 
importante para asegurar datos de calidad. 
Dado que diferentes maneras de formular la 
misma pregunta en la encuesta puede 
generar respuestas diferentes, tanto el 
marco como el formato de las preguntas 
debería ser el mismo para todas las unida- 
des con el fin de evitar sesgos de los 
encuestados o los encuestadores. Naciones 
Unidas (2005) formula seis recomendacio- 
nes específicas en relación con el formato 
de los cuestionarios en las encuestas de 
hogares. Estas recomendaciones se aplican 
también a la mayoría de los demás instru- 
mentos de recopilación de datos: 


1. Se debe redactar cada pregunta detallada- 
mente en el cuestionario de manera que 
el entrevistador pueda dirigir la entrevista 
leyendo cada pregunta palabra por palabra. 


2. El cuestionario debe incluir definiciones 
precisas de todos los conceptos clave 
utilizados en la encuesta, de modo que el 


entrevistador se pueda referir a la definición 
durante la entrevista si fuera necesario. 


3. Las preguntas deben ser lo más breves y 
sencillas posible, y deben utilizar un len- 
guaje común y comprensible. 


4. Los cuestionarios deben diseñarse de 
manera que las respuestas a casi todas 
las preguntas estén precodificadas. 


5. El esquema de la codificación de las 
respuestas debería ser consistente en 
todas las preguntas. 


6. La encuesta debería incluir patrones 
de salto, que indican qué preguntas no 
deberían formularse, sobre la base de 
las respuestas dadas a las preguntas 
anteriores. 


Una vez que la persona encargada para 
trabajar en el instrumento ha redactado un 
cuestionario, este debe presentarse a un 
equipo de expertos para ser debatido. Se 
debe consultar a todos los que participan en 
el equipo de evaluación (responsables de las 
políticas, investigadores, analistas de datos y 
recopiladores de datos) a propósito de si el 
cuestionario recoge toda la información que 
se desea, de manera adecuada. La revisión 
de un equipo de expertos es necesaria pero 
no suficiente, dado que la puesta a prueba 
intensiva en el terreno siempre es primordial. 


Se ha ido desarrollado cada vez más un conjunto de técnicas para 


obtener la medición directa de resultados. Por ejemplo, en el sector de la 
salud, a veces se utilizan casos clínicos para presentar síntomas concretos 
a los trabajadores de la salud y evaluar si el proveedor recomienda el 
tratamiento adecuado sobre la base de directrices y protocolos estableci- 
dos. Estos casos clínicos proporcionan una medida directa de los 
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conocimientos de los proveedores de la salud. Las evaluaciones recientes 
cuentan con pacientes estandarizados (también conocidos como pacien- 
tes de incógnito o simulados) que visitan los centros de salud y evalúan 
directamente la calidad de los servicios prestados.* En el sector de educa- 
ción, numerosas evaluaciones pretenden calcular los impactos de los pro- 
gramas en el aprendizaje de los alumnos. Para ello, se utiliza una gama de 
evaluaciones del aprendizaje o mediciones directas de las habilidades de 
los alumnos. También se han desarrollado varias baterías de pruebas para 
medir directamente el desarrollo cognitivo, lingiiistico o motor de los 
niños pequeños en el contexto de las evaluaciones de impacto de las 
intervenciones de desarrollo infantil temprano (DIT). Asimismo, se ha 
progresado en la obtención de mediciones directas de las habilidades de 
los adultos, incluidas las habilidades socioemocionales o los rasgos de la 
personalidad. Además de la medición directa de las habilidades, un 
número creciente de evaluaciones de impacto apunta a obtener medicio- 
nes de la calidad de la enseñanza a través de las observaciones directas de 
la conducta de los profesores en el aula. 

La observación directa de resultados clave es particularmente importante 
cuando se hace difícil obtener verazmente los resultados de interés de parte 
de los encuestados. Por ejemplo, para evitar depender de los datos auto- 
reportados para medir los resultados relacionados con los delitos o la violen- 
cia, algunas evaluaciones de impacto han incorporado investigadores 
capacitados en las comunidades de la muestra para que observen directa- 
mente la conducta de los sujetos con métodos etnográficos. Esta observación 
directa puede eludir los problemas relacionados con conductas auto-repor- 
tadas y proporcionar una información más precisa cuando se lleva a cabo 
adecuadamente. Los recientes avances tecnológicos también permiten 
mediciones directas de toda una gama de conductas humanas y, por lo tanto, 
pueden contribuir a limitar el uso de datos auto-reportados. Entre otros 
ejemplos, cabe señalar la observación directa de la programación en el 
tiempo y la intensidad en el uso de cocinas mejoradas, y las mediciones 
directas de la calidad del agua, del uso de letrinas y de la temperatura interior 
utilizando sensores electrónicos. 

Las evaluaciones de impacto suelen depender de una mezcla de encues- 
tas basadas en cuestionarios tradicionales y otros métodos con los que 
observar directamente los resultados de interés. Por ejemplo, en el contexto 
de la evaluación de impacto del financiamiento basado en resultados en el 
sector de la salud, se mide una gama de indicadores a través de fuentes com- 
plementarias (Vermeersch, Rothenbihler y Sturdy, 2012). Una encuesta de 
un centro de salud comprende una evaluación del centro para medir sus 
principales características, una entrevista con un trabajador de la salud para 
estimar las características de este, y entrevistas de salida con los pacientes 
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para valorar los servicios prestados, así como indicadores de la calidad de 
los cuidados mediante una mezcla de casos clínicos y observación directa. 
Las encuestas de hogares incluyen datos a nivel de los hogares sobre la 
conducta de estos y de los individuos, como la frecuencia de las visitas al 
centro, los cuidados recibidos y los gastos en salud, así como también módu- 
los a nivel individual de la salud de las mujeres y de los niños. Además de 
mediciones antropométricas, se realizan pruebas biomédicas para medir 
directamente la prevalencia de la anemia, la malaria o el VIH. Por último, los 
cuestionarios de las comunidades capturan características de la comunidad, 
los servicios, la infraestructura, el acceso a los mercados, los precios y los 
shocks a nivel comunitario. 

Además de desarrollar indicadores y encontrar la manera más adecuada 
para medirlos, otra decisión clave al recopilar nuevos datos es la tecnología 
de recopilación utilizada. Los métodos tradicionales recopilan los datos en 
papel y luego los digitalizan, a menudo mediante un enfoque de entrada de 
datos de doble ciego, que implica la presencia de dos agentes que digitan la 
misma información por separado antes de comparar los datos para verifi- 
car las imprecisiones. Con los recientes avances tecnológicos, los instru- 
mentos de recopilación de datos asistidos por computador se han vuelto 
prevalentes. La recopilación de datos mediante aplicaciones instaladas en 
teléfonos inteligentes o Tablets puede acelerar el procesamiento de datos, 
y al mismo tiempo proporciona oportunidades para realizar verificaciones 
de la calidad de los datos y validarlos en tiempo real. En el recuadro 16.4 se 
abordan algunas de las ventajas y desventajas de la recopilación electrónica 
de datos. 

Es sumamente importante que el instrumento de recopilación de datos 
sea probado en el terreno extensamente antes de finalizar. La realización 
de pruebas piloto amplias del instrumento pondrá a prueba su adecuación 
al contexto local y su contenido, y cualquier formato y opciones de redac- 
ción alternativas, así como también los protocolos de recopilación de datos, 
incluida la tecnología. Probar el instrumento de recopilación de datos en 
pruebas en el terreno es crucial para chequear su duración y para verificar 
que su formato sea suficientemente consistente y exhaustivo para producir 
mediciones precisas de toda la información relevante. Las pruebas en el 
terreno constituyen una parte integral de la elaboración de los instrumen- 
tos de recopilación de datos. 


Dirección del trabajo de campo y gestión del control de calidad 


Aun cuando se contrate la recopilación de datos con una entidad externa, es 
crucial tener una comprensión clara de todos los pasos involucrados en este 
proceso para garantizar que se hayan establecido los mecanismos de control 
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Recuadro 16.4: Algunas ventajas y desventajas de la recopilación 


electrónica de datos 


Las entrevistas personales asistidas por 
computador (CAPI, por sus siglas en inglés, 
computerassisted personal interviewing) 
brindan una alternativa a las entrevistas tradi- 
cionales de lapiz y papel (PAPI, pen-and-paper 
interviewing). En las CAPI, primero se des- 
carga la encuesta en un aparato electrónico, 
como una Tablet o un teléfono inteligente. El 
entrevistador lee las preguntas en la pantalla 
e ingresa inmediatamente las respuestas en 
el programa. Se han desarrollado diversos 
programas y aplicaciones para la recopilación 
de datos en CAPI. No obstante, el equipo de 
evaluación debe considerar detenidamente 
los pros y contras de las CAPI. 


Algunas ventajas: 

e La recopilación electrónica de datos 
puede mejorar la calidad de los datos. En 
un experimento aleatorio diseñado para 
comparar CAPI y PAPI para una encuesta 
sobre consumo en Tanzania, Caeyers, 
Chalmers y De Weerdt (2012) observaron 
que los datos de las encuestas en papel 
contenían errores que se evitaron en las 
encuestas electrónicas. Los investiga- 
dores descubrieron que los errores en 
los datos del PAPI estaban correlacio- 
nados con ciertas características de los 
hogares, lo cual puede crear sesgos en 
algunos análisis de datos. 

e Los programas de recopilación elec- 
trónica de datos pueden incluir sistemas 
de verificación de consistencia automa- 
tizados. Ciertas respuestas pueden acti- 
var mensajes de alerta de manera que 
los errores de ingreso de los datos se 
minimizan y cualquier problema se aclara 
con el encuestado durante la entrevista. 


Por ejemplo, Fafchamps et al. (2012) 
estudiaron los beneficios del control 
de la consistencia en una encuesta de 
microempresas en Ghana. Observaron 
que cuando se introducían los controles 
de consistencia, la desviación estándar 
de los datos sobre beneficios y ventas 
era menor. Sin embargo, también obser- 
varon que la mayor parte del tiempo no 
se requería una corrección: entre el 85% 
y el 97% de las veces, los encuestados 
confirmaban la respuesta original. 


Las entrevistas pueden ser más breves y 
más fáciles. Cuando se utilizan las CAPI, el 
flujo del cuestionario se puede personalizar 
para orientar mejor a los entrevistadores a 
través de patrones de salto, y minimizar 
los errores y omisiones en el cuestionario. 
En una encuesta de hogares conducida 
en Tanzania, las entrevistas CAPI fueron, 
en promedio, un 10% más breves que 
los cuestionarios similares recopilados 
en papel, según las observaciones de 
Caeyers, Chalmers y De Weerdt (2012). 


La recopilación electrónica de datos eli- 
mina la necesidad del reingreso manual 
de los datos. Esto puede reducir costos y 
acelerar el procesamiento. 


El uso de la tecnología puede aportar una 
gama de beneficios indirectos. Por ejem- 
plo, al utilizar Tablets o teléfonos inteligen- 
tes, es fácil registrar las coordenadas de 
GPS o tomar fotos. También se pueden 
introducir variaciones experimentales en 
el contenido de la encuesta. Con algunos 
programas, ciertas partes de la entrevista 
se pueden grabar con el fin de facilitar la 
calidad y los controles del monitoreo. 


Continúa en la página siguiente. 
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Recuadro 16.4: Algunas ventajas y desventajas de la recopilación electrónica de datos (continúa) 


Algunas desventajas: 


Los costos fijos tienden ser más eleva- 
dos en las CAPI que en las PAPI, aunque 
los costos variables pueden ser más 
bajos. El costo inicial de comprar y pro- 
gramar los aparatos electrónicos puede 
resultar demasiado alto para los presu- 
puestos más pequeños de evaluación 
de impacto. También se necesita más 
tiempo al comienzo para asegurar una 
programación y pruebas adecuadas de los 
cuestionarios electrónicos, que a menudo 
se producen después de que ya se han 
elaborado los cuestionarios en papel. 

Se requieren conocimientos técnicos 
expertos específicos para programar 
los cuestionarios electrónicos y crear 
procesos para gestionar el flujo de datos 
recopilados electrónicamente. En los 
países en desarrollo con baja capacidad en 
materia de tecnologías de la información, 


a veces esto se torna difícil de conseguir. 
También es más arduo desarrollar pro- 
gramas para cuestionarios que no estén 
en inglés o en una lengua romance. 

Los problemas tecnológicos pueden per 
turbar la recopilación de datos o dañar la 
consolidación de datos en un sitio seguro. 
Pueden surgir problemas durante la 
recopilación de datos, cuando el aparato 
electrónico tiene una pantalla pequeña o 
una interfaz con la que los entrevistado- 
res no están familiarizados. El riesgo de 
robo también es mayor en el caso de los 
aparatos electrónicos en comparación 
con las encuestas en papel. Por último, 
la consolidación y sincronización de los 
datos en un sitio seguro requiere proto- 
colos claros para minimizar el riesgo de 
pérdida de datos. La transmisión elec- 
trónica de datos es conveniente pero 
requiere un nivel mínimo de conectividad. 


Fuente: Caeters, Chalmers y De Weerdt (2012); Fafchamps et al. (2012). 


de calidad requeridos y los incentivos correctos. La entidad encargada de 
recopilar los datos tendrá que coordinar el trabajo de un gran número 
de actores diferentes, entre ellos los encuestadores, supervisores, coordina- 
dores en el terreno y personal de apoyo logístico, además del equipo que 
ingresa los datos, compuesto por los programadores, los supervisores y los 
operadores del ingreso de datos. Debe establecerse un plan de trabajo claro 
para coordinar la labor de todos estos equipos y ese plan de trabajo es un 
elemento clave. 

Antes de que comience la recopilación de datos, el plan de trabajo debe 
incluir una capacitación adecuada del equipo de recopilación de datos. Se 
debe elaborar un manual de referencia completo para la capacitación, el cual 
debe utilizarse a lo largo del trabajo de campo. La capacitación es clave para 
asegurar que todos los que participan recopilen los datos de manera consis- 
tente. El proceso de capacitación también es una buena oportunidad para 
identificar a los mejores encuestadores y para llevar a cabo una última prueba 
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piloto de los instrumentos y los procedimientos en condiciones normales. Una 
vez que se haya elaborado la muestra, que los instrumentos hayan sido diseña- 
dos y probados en pruebas piloto, y que los equipos hayan sido capacitados, 
puede comenzar la recopilación de datos. Es una buena práctica asegurar que 
el plan de trabajo de campo que tiene cada equipo de la encuesta recopile 
datos sobre el mismo número de unidades de tratamiento y comparación. 

Como se señaló en el capítulo 15, el muestreo adecuado es esencial para 
asegurar la calidad de la muestra. Sin embargo, mientras se recopilan los datos 
pueden producirse numerosos errores de no muestreo. En el contexto de una 
evaluación de impacto, una preocupación particular es que aquellos errores 
pueden no ser los mismos en los grupos de tratamiento y de comparación. 

La falta de respuesta surge cuando se vuelve imposible recopilar todos los 
datos para algunas unidades de la muestra. Dado que las muestras reales 
utilizadas para el análisis se limitan a aquellas unidades para las que se pue- 
den recopilar datos, las unidades que deciden no responder a una encuesta 
pueden volver la muestra menos representativa y crear un sesgo en los 
resultados de la evaluación. El desgaste de la muestra es una forma habitual 
de no respuesta que se produce cuando algunas unidades abandonan la 
muestra entre las rondas de recopilación de datos; por ejemplo, los migran- 
tes, de los que es difícil hacer un seguimiento. 

El desgaste de la muestra debido a la no respuesta es especialmente pro- 
blemático en el contexto de las evaluaciones de impacto porque puede crear 
diferencias entre el grupo de tratamiento y el grupo de comparación. Por 
ejemplo, el desgaste de la muestra puede ser diferente en los dos grupos: si 
los datos se recopilan después de que el programa ha comenzado a imple- 
mentarse, la tasa de respuesta entre las unidades de tratamiento puede ser 
más elevada que entre las unidades de comparación. Esto puede ocurrir por- 
que estas últimas se muestran descontentas por no haber sido seleccionadas 
o porque es más probable que migren. Las no respuestas también se pueden 
producir en el propio cuestionario, normalmente porque faltan algunos 
indicadores o porque los datos para una unidad particular son incompletos. 

Los errores de medición constituyen otro tipo de problema, que puede 
generar sesgos si tiene lugar de forma sistemática. El error de medición es la 
diferencia entre el valor de unacaracterísticatal como la presenta el encuestado 
y el valor verdadero (pero desconocido) (Kasprzyk, 2005). Esta diferencia se 
explica por la manera en que el cuestionario está redactado o por el método de 
recopilación de datos elegido, o puede producirse debido a los entrevistadores 
que están llevando a cabo la encuesta o al encuestado que responde. 

La calidad de la evaluación de impacto depende directamente de la 
calidad de los datos recopilados. Es necesario especificar los estándares de 
calidad para todas las partes interesadas en el proceso de recopilación de 
datos; estos estándares deberían subrayarse particularmente durante la 
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capacitación de los encuestadores y en los manuales de referencia. Por 
ejemplo, es esencial contar con procedimientos detallados para minimizar 
la no respuesta o (si es aceptable) reemplazar unidades en la muestra. La 
agencia de recopilación de datos debe entender claramente las tasas acepta- 
bles de no respuesta y de desgaste de la muestra. Como referencia, numero- 
sas evaluaciones de impacto se proponen mantener la no respuesta y el 
desgaste por debajo del 5%. El objetivo dependerá de la programación en el 
tiempo de la evaluación de impacto y de la unidad de análisis: se esperaría 
que el desgaste fuera menor en una encuesta que se produce poco después 
de la encuesta de línea de base, y relativamente más alto para las evaluacio- 
nes de impacto de largo plazo que siguen a los individuos muchos años más 
tarde. También se esperarían tasas de desgaste más elevadas en las poblacio- 
nes muy móviles. Los encuestados a veces son compensados para minimizar 
la no respuesta, aunque la introducción de esa compensación tiene que ser 
estudiada detenidamente. En ocasiones, una vez que se han identificado 
todas las unidades que se deben seguir, se selecciona aleatoriamente una 
submuestra de estas unidades para un seguimiento muy intensivo, que 
puede requerir esfuerzos adicionales o alguna forma de compensación. En 
cualquier caso, el contrato para la agencia recopiladora de datos debe conte- 
ner incentivos claros, como una mayor compensación si la tasa de no res- 
puesta se mantiene por debajo de un umbral aceptable. 

Se deben establecer procedimientos de garantía de calidad bien definidos 
para todas las etapas de la recopilación de datos, incluyendo el diseño del 
procedimiento del muestreo y el cuestionario, las etapas de preparación, 
recopilación de datos, ingreso de los datos, y limpieza y almacenamiento de 
los mismos. 

Se debería otorgar una gran prioridad a los controles de calidad durante el 
trabajo de campo, con el fin de minimizar los errores de cada unidad. Deben 
existir procedimientos claros para volver a visitar las unidades que no han pro- 
porcionado información o que han proporcionado información incompleta. 
Deben introducirse múltiples filtros en el proceso de control de calidad, por 
ejemplo, contando con encuestadores, supervisores y, si fuera necesario, coor- 
dinadores del trabajo de campo para que vuelvan a visitar a las unidades 
que no respondieron para verificar su estatus. Los cuestionarios de las entre- 
vistas con no respuesta deberían ser codificados con claridad y registrados. 
Una vez que los datos han sido completamente digitalizados, las tasas de no 
respuesta se pueden resumir y se puede dar cuenta de todas las unidades de 
la muestra. 

También deberían realizarse controles de calidad de cualquier dato 
incompleto para una unidad encuestada en particular. Una vez más, el pro- 
ceso de control de calidad debe incluir múltiples filtros. El encuestador es el 
responsable de verificar los datos inmediatamente después de que han sido 
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recopilados. El supervisor y el coordinador del trabajo de campo deben lle- 
var a cabo controles aleatorios en una etapa posterior. 

Los controles de calidad de los errores de medición son más difíciles pero 
cruciales para evaluar si la información se ha recopilado con precisión. Los 
controles de consistencia se pueden incorporar en el cuestionario. Además, 
los supervisores o controladores de calidad tienen que llevar a cabo controles 
in situ, participando en las entrevistas para asegurar que los encuestadores 
recopilen los datos según los estándares de calidad establecidos. Se pueden 
realizar verificaciones externas o auditorías de calidad con una submuestra 
de la encuesta de evaluación de impacto para asegurar que los datos recopi- 
lados sean precisos. Esto a veces se lleva a cabo con un controlador de cali- 
dad que recoge un subconjunto del cuestionario con un encuestado y 
compara las respuestas con aquellas obtenidas anteriormente por un 
encuestador con el mismo encuestado. 

Los coordinadores del trabajo de campo o los miembros del equipo de 
evaluación también deberían contribuir con los controles de calidad para 
minimizar los conflictos de interés potenciales en la empresa encuestadora. 
Puede que también sea necesario contratar una agencia externa para audi- 
tar la calidad de las actividades de recopilación de datos. Esto puede limitar 
significativamente la gama de problemas que puedan surgir debido a la falta 
de supervisión del equipo de recopilación de datos, o debido a procedimien- 
tos insuficientes de control de calidad. 

En definitiva, es crucial que todos los pasos que intervienen en el control 
de calidad se realicen explícitamente en los términos de referencia cuando 
se contrata la recopilación de datos. 


Procesamiento y almacenamiento de los datos 


El procesamiento y la validación de los datos es una parte integral de la reco- 
pilación de datos de una nueva encuesta. Incluye los pasos para digitalizar la 
información de las encuestas de papel y lápiz, así como los pasos para validar 
los datos tanto de estas últimas como de la recopilación electrónica mediante 
ordenadores portátiles, teléfonos inteligentes, Tablets u otros instrumentos. 
Al trabajar con encuestas de papel y lápiz, se debe elaborar un programa de 
entrada de datos y se debe instaurar un sistema para gestionar el flujo de 
datos que serán digitados. Hay que establecer normas y procedimientos y 
capacitar rigurosamente a los operadores de ingreso de datos para garantizar 
que dicho ingreso sea consistente. En la medida de lo posible, el ingreso de 
datos debería ser integrado en las operaciones de recopilación de datos 
(incluida la fase de prueba piloto), de manera que cualquier problema con los 
datos recopilados se pueda identificar rápidamente y verificar en el terreno. 
En general, la referencia de calidad para el proceso de entrada de datos 
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debería ser que los datos físicos brutos fuesen replicados con exactitud en la 
versión digitalizada, sin modificaciones mientras se ingresan. Para minimi- 
zar los errores de ingreso de datos, se puede utilizar un procedimiento de 
ingreso de datos de doble ciego, de modo de identificar y corregir cualquier 
error adicional. Se puede aplicar un enfoque de entrada de campo asistida 
por ordenador, que recopila los datos en una encuesta de lápiz y papel y luego 
los digitaliza en el terreno y los valida de inmediato para identificar errores e 
inconsistencias. 

Tanto en las encuestas de papel y lápiz como en las encuestas que depen- 
den de la recopilación electrónica de datos, se pueden desarrollar progra- 
mas para llevar a cabo controles automáticos de los errores no muestrales 
(tanto en las no respuestas como en inconsistencias de las entradas) que se 
pueden producir en el terreno, y para validar los datos. Si el proceso de 
validación se integra en los procedimientos del trabajo de campo, se pue- 
den devolver los datos incompletos o inconsistentes a los trabajadores en el 
terreno para una verificación in situ. Este tipo de integración no está exenta 
de dificultades en lo que se refiere al flujo organizacional de las operacio- 
nes del trabajo de campo, pero puede producir importantes mejoras de la 
calidad, disminuir el error de medición y aumentar la potencia estadística 
de la evaluación de impacto. La posibilidad de utilizar un enfoque inte- 
grado de este tipo debe contemplarse explícitamente cuando se planifica la 
recopilación de datos. El uso de nuevas tecnologías puede facilitar esos 
controles de calidad. 

Como ya se ha señalado, la recopilación de datos comprende un con- 
junto de operaciones cuya complejidad no debería ser subestimada. El 
recuadro 16.5 trata de cómo el proceso de recopilación de datos para la eva- 
luación de las pruebas piloto de atención a crisis en Nicaragua produjo 
datos de alta calidad con muy bajo desgaste y pocas no respuestas a las pre- 
guntas, así como pocos errores de medición y de procesamiento. Estos 
datos de alta calidad se pueden obtener solo cuando se establecen los pro- 
cedimientos de calidad de los datos y los incentivos adecuados al contratar 
la recopilación de datos. 

Al final del proceso de recopilación, los datos deben presentarse con 
documentación detallada, lo que incluye un libro de códigos completo y un 
diccionario de datos, y deben almacenarse en un sitio seguro (véase el 
recuadro 16.6). Si los datos están siendo recopilados para una evaluación de 
impacto, el conjunto de datos también debe incluir información comple- 
mentaria sobre la condición de tratamiento y la participación en el pro- 
grama. Un paquete completo de documentación acelerará el análisis de los 
datos de evaluación de impacto, contribuirá a producir resultados que se 
pueden utilizar para la elaboración de las políticas de manera oportuna y 
facilitará la distribución de la información y la potencial replicación. 


Encontrando fuentes adecuadas de datos 
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Recuadro 16.5: Recopilación de datos para la evaluación de las 
pruebas piloto de atención a crisis en Nicaragua 


En 2005 el gobierno nicaragúense lanzó el 
programa piloto Atención a Crisis. Se ela- 
boró un estudio para evaluar el impacto de 
combinar un programa de transferencias 
condicionadas con transferencias producti- 
vas, como ayudas para invertir en actividades 
no agrícolas o en formación profesional. La 
prueba piloto de Atención a Crisis fue imple- 
mentada por el Ministerio de la Familia, con 
apoyo del Banco Mundial. 

En la evaluación se utilizó una asignación 
aleatoria en dos etapas. En primer lugar, se 
asignaron 106 comunidades ya sea al grupo 
de comparación o al grupo de tratamiento. 
En segundo lugar, en las comunidades de 
tratamiento los hogares elegibles fueron 
asignados aleatoriamente a uno de tres 
paquetes de beneficios: transferencias con- 
dicionadas, la transferencia más una ayuda 
que permitía a uno de los miembros del 
hogar elegir entre diversos cursos de forma- 
ción profesional, y transferencias monetarias 
más una ayuda para la inversión productiva, 
destinada a estimular a los receptores para 
el inicio de una actividad no agrícola, con el 
fin de crear activos y diversificar el ingreso 
(Macours, Premand y Vakis, 2012). 

En 2005 se llevó a cabo una encuesta de 
línea de base, en 2006 se produjo una pri- 
mera encuesta de seguimiento y en 2008 se 
realizó una segunda encuesta de segui- 
miento, dos años después de finalizada la 
intervención. Se establecieron rigurosos con- 
troles de calidad en todas las etapas del pro- 
ceso de recopilación de datos. Primero, los 
cuestionarios fueron sometidos a una 
exhaustiva prueba en el terreno y se capacitó 
a los encuestadores tanto en las aulas como 
en las condiciones en el terreno. Segundo, se 


estableció una supervisión en el terreno de 
modo que todos los cuestionarios fueron revi- 
sados varias veces por los encuestadores, 
supervisores, coordinadores del trabajo de 
campo y otros expertos. Tercero, se utilizó un 
sistema de ingreso de datos de doble ciego, 
junto con un programa exhaustivo de control 
de calidad que podía identificar los cuestiona- 
rios incompletos o inconsistentes. Los cues- 
tionarios donde faltaba información en ciertas 
preguntas o donde se observaban inconsis- 
tencias eran devueltos sistemáticamente al 
terreno para ser verificados. Estos procedi- 
mientos y requisitos fueron especificados de 
forma explícita en los términos de referencia 
de la empresa de recopilación de datos. 
Además, se establecieron procedimientos 
detallados de seguimiento para minimizar el 
desgaste. Al comienzo, en 2008, se llevó a 
cabo un censo de los hogares que residían en 
las comunidades de tratamiento y de control, 
en estrecha colaboración con los dirigentes 
comunitarios. Dado que la migración en el 
país era habitual, a la empresa encargada de la 
encuesta se le ofrecieron incentivos para 
hacer un seguimiento de los migrantes 
individuales en todo el país. Como consecuen- 
cia, solo el 2% de los 4.359 hogares originales 
no pudieron ser entrevistados en 2009. La 
empresa de la encuesta también se encargó 
de dar seguimiento a todos los individuos de 
los hogares encuestados en 2005. Una vez 
más, solo no se pudo realizar el seguimiento 
de un 2% de los individuos objeto de las trans- 
ferencias del programa (otro 2% había falle- 
cido). El desgaste fue de un 6% para todos los 
niños de los hogares encuestados en 2005 y 
de un 5% para todos los individuos en los 
hogares encuestados en ese mismo año. 


Continúa en la página siguiente. 
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Recuadro 16.5: Recopilación de datos para la evaluación de las pruebas piloto de atención a crisis en 


Nicaragua (continúa) 

Las tasas de desgaste y de no respuesta 
proporcionan un buen indicador de la calidad 
de la encuesta. Las tasas de desgaste muy 
bajas requieren grandes esfuerzos de la 
empresa de recopilación de datos, así como 
incentivos explícitos. El costo unitario de un 
hogar o individuo objeto de un seguimiento 
también es mucho mayor. Además, en este 
caso, los controles de calidad rigurosos aña- 
dieron costos y aumentaron el tiempo de 


Fuente: Macours, Premand y Vakis (2012). 


recopilación de datos. Aun así, en el contexto 
de la prueba piloto de Atención a Crisis, la 
muestra siguió siendo representativa tanto a 
nivel de los hogares como de los individuos 
tres a cuatro años después de la línea de base; 
se minimizaron los errores de medición, y se 
garantizó la fiabilidad de la evaluación. Como 
consecuencia, los impactos de largo plazo de 
las pruebas piloto de Atención a Crisis pudie- 
ron ser analizados de manera convincente. 


Recuadro 16.6: Directrices para la documentación y el 


almacenamiento de datos 


La práctica clave en la documentación de 
datos consiste en mantener un registro de 
todos los datos de la evaluación de impacto. 
Esto implica los protocolos de recopilación 
de datos, los cuestionarios, los manuales de 
formación y otros. El Banco Mundial, el 
Banco Interamericano de Desarrollo (BID) y 
la Millenium Challenge Corporation, entre 
otros organismos, tienen iniciativas de datos 
abiertos que ponen estos datos a disposición 
del público mediante un catálogo de datos. 
El almacenamiento se puede descompo- 
ner en tres categorías: microdatos, macro- 
datos y archivos de control de identidad. 


e Los microdatos son datos al nivel de la 
unidad de observación, que permanece 
anónima y no incluye ninguna información 
que identifique a los individuos. Las vari- 
ables de identificación relevantes guardan el 
anonimato de la identificación, que está vin- 
culada solo a la información de los encuesta- 
dos en los ficheros de control de identidad. 


Encontrando fuentes adecuadas de datos 


e Los archivos de control de identidad 
contienen toda la información antes de 
que se vuelva anónima. Deben guardarse 
solo en un servidor seguro y nunca inclu- 
irse en un catálogo de datos. 

e los macrodatos comprenden todos los 
documentos de apoyo relevantes para la 
interpretación de los microdatos, el dicciona- 
rio de datos, el libro de códigos, la descripción 
del diseño del estudio y los cuestionarios. 


La catalogación de los macrodatos y microda- 
tos contribuye a proteger la seguridad de los 
datos y cumple las normas internacionales 
sobre almacenamiento de datos. Los catálo- 
gos de los datos centrales son mucho menos 
vulnerables al mal funcionamiento o a la intru- 
sión que el disco duro de un computador o 
un instrumento portátil de almacenamiento. 
En ciertos catálogos de datos, los datos 
pueden permanecer protegidos por una con- 
traseña durante un período determinado 
antes de estar disponibles al público. 
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Otros recursos 


Para material de apoyo relacionado con el libro y para hipervínculos de más 

recursos, se recomienda consultar el sitio web de la Evaluación de Impacto en 

la Práctica (http: //www.worldbank.org/ieinpractice). 

Para una guía del diseño del cuestionario, véase el módulo sobre “Técnicas del 

trabajo de campo aplicadas” en el curso de métodos de evaluación de impacto 

de la Universidad de California (http://aie.cega.org). 

Para entradas en los blogs sobre recopilación de datos, véase la lista docu- 

mentada del blog de impacto en el desarrollo del Banco Mundial (http://blogs 

worldbank.org/impactevaluations). 

Para más información sobre la recopilación de datos, véase el siguiente 

material: 

> A.G. Fink y J. Kosecoff (2008), How to Conduct Surveys: A Step by Step 
Guide, cuarta edición. Londres: Sage. 


> G. larossi (2006), The Power of Survey Design: A User's Guide for Managing 
Surveys, Interpreting Results, and Influencing Respondents. Washington, 
D.C.: Banco Mundial. 


> E. Leeuw, J. Hox y D. Dillman (2008), International Handbook of Survey 
Methodology. Nueva York: Taylor & Francis Group. 


Para mas información sobre las actividades de recopilación de datos y supervisión 
de calidad de los datos, véase el Kit de Herramientas de Evaluación de Impacto 
(Impact Evaluation Toolkit) del Banco Mundial, Módulo 5 sobre recopilación de 
datos (http://www.worldbank.org/health/impactevaluationtoolkit). El módulo 
incluye varios ejemplos de informes de progreso de la encuesta, manuales para el 
trabajo de campo y programas de capacitación para los hogares y centros de salud. 
Para diversos materiales de orientación y preparación de una encuesta, véase 
el portal de evaluación del Banco Interamericano de Desarrollo (http:// 
www.iadb.org/portalevaluacion). En la sección de recopilación de datos, 
puede descargarse: 


> Un manual para el diseño del cuestionario. 
> Un manual de ingreso de datos. 


> Formularios de consentimiento, cuestionarios de la muestra, programas de 
ingreso de datos y manuales para el trabajo de campo en diferentes tipos 
de encuestas, entre ellas encuestas de hogares, de comunidades, de centros 
de salud, escuelas y agricultores. 


> Enlaces con otros ejemplos de preguntas y cuestionarios de las encuestas. 


Y 


Enlaces con directrices para la recopilación de datos de calidad. 


> Enlaces con instrumentos disponibles en el sitio web de International 
Household Survey Network (IHSN) para almacenamiento y gestión de 
datos. 


Para más información sobre las razones de la importancia de la documentación 
de datos, cómo se puede llevar a cabo y quién es el responsable de ello en el 
equipo de evaluación, véase el Kit de Herramientas de Evaluación de Impacto 
(Impact Evaluation Toolkit) del Banco Mundial, Módulo 6, sobre almacenamiento 
de datos (http://www.worldbank.org/health/impactevaluationtoolkit). 


La evaluación de impacto en la práctica 


Notas 


1. Véanse referencias en Grosh y Glewwe (2000) y Naciones Unidas (2005). 
Véanse también Muñoz (2005); Iarossi (2006); Fink y Kosecoff (2008), y Leeuw, 
Hox y Dillman (2008), que proporcionan abundante orientación práctica sobre 
la recopilación de datos. 

2. Consúltese McKenzie y Rosenzweig (2012) para una visión general de los 
últimos avances. 

3. Para ejemplos de este tipo de experimentos, véanse McKenzie y Rosenzweig 
(2012) en temas generales; Beegle, Carletto y Himelein (2012) sobre datos 
agrícolas; Beegle et al. (2012) sobre la medición del consumo de los hogares, y 
Bardasi et al. (2011) sobre datos laborales. 

4. Para ejemplos de innovaciones en la medición de resultados, véase Holla (2013); 
Das y Hammer (2007), y Planas et al. (2015). 
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CAPÍTULO 17 


Conclusiones 


Las evaluaciones de impacto: ejercicios 
complejos pero valiosos 


La evaluación de impacto tiene que ver con generar evidencia sobre qué 
programas funcionan, qué programas no lo hacen y cómo mejorarlos para 
lograr mejores resultados en materia de desarrollo. Esto se puede realizar 
en un marco clásico de evaluación de impacto, contrastando los resultados 
entre grupos de tratamiento y comparación. Las evaluaciones de impacto 
también se pueden llevar a cabo para explorar alternativas de implementa- 
ción de un programa, para probar innovaciones o analizar diferentes pro- 
gramas con el fin de evaluar el desempeño comparativamente. 

La idea que subyace a este trabajo es que las evaluaciones de impacto 
constituyen una inversión valiosa para numerosos programas. Junto con el 
monitoreo y otras formas de evaluación, optimizan la comprensión de la 
efectividad de determinadas políticas; contribuyen a una rendición de 
cuentas mejorada de los administradores del programa, los gobiernos, los 
financiadores y el público en general; fundamentan decisiones acerca de 
cómo asignar de manera más eficiente los escasos recursos para el desarro- 
llo, y aportan al acervo global de conocimientos sobre lo que funciona y no 
funciona en el campo del desarrollo. 
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Lista de verificación: elementos centrales de una 
evaluación de impacto bien diseñada 


Las evaluaciones de impacto son ejercicios complejos con numerosas partes 
cambiantes. La siguiente lista de verificación destaca los elementos centra- 
les de una evaluación de impacto bien diseñada: 


Y” Una pregunta concreta y relevante para las políticas -basada en una 
teoría del cambio- a la que se puede responder con una evaluación de 
impacto. 


v Una metodología robusta, derivada de las reglas operativas del programa, 
para estimar un contrafactual que muestre la relación causal entre el 
programa y los resultados de interés. 


v Un equipo de evaluación bien formado que funcione como la 
asociación de un equipo de políticas públicas y un equipo de 
investigación. 


Y” Respeto por las normas éticas y consideración por los sujetos humanos 
en el diseño y la implementación de la evaluación y la recopilación de 
datos correspondiente, así como atención a los principios de ciencia 
abierta para asegurar la transparencia. 


v Una muestra con suficiente potencia estadística para permitir que se 
detecten los impactos relevantes para las políticas. 


Y” Una metodología y una muestra que proporcionen resultados generaliza- 
bles para la población de interés. 


Y” Datos de gran calidad que proporcionen la información adecuada reque- 
rida para la evaluación de impacto, incluidos los datos de los grupos de 
tratamiento y de comparación, los datos de línea de base y de segui- 
miento, y la información sobre la implementación y los costos del 
programa. 


v Una estrategia de participación para fundamentar el diálogo de políticas 
a través de la implementación de la evaluación de impacto, así como tam- 
bién un informe de evaluación de impacto y notas informativas de las 
políticas relacionadas divulgadas al público objetivo en el momento 
oportuno. 


La evaluación de impacto en la práctica 


Lista de verificación: recomendaciones para 
mitigar riesgos habituales al llevar adelante 
una evaluación de impacto 


También se destacan algunas recomendaciones que pueden contribuir a 
mitigar los riesgos habituales inherentes al proceso de realización de una 
evaluación de impacto: 


Y” El mejor momento para diseñar una evaluación de impacto es temprano 
en el ciclo del proyecto, idealmente como parte del diseño del programa, 
pero al menos antes de implementar el programa que se evalúa. Una pla- 
nificación temprana permite un diseño de evaluación prospectivo basado 
en la mejor metodología disponible, y brindará el tiempo necesario para 
planificar e implementar la recopilación de datos de línea de base en los 
ámbitos de la evaluación antes de que comience el programa. 


Y” Los resultados de la evaluación de impacto deben acompañarse con 
evaluaciones complementarias del proceso y datos de monitoreo que 
muestren un cuadro claro de la implementación del programa. Cuando 
los programas tienen éxito, es importante entender por qué. Cuando los 
programas fracasan, es importante poder distinguir entre un programa 
mal implementado y un diseño de programa deficiente. 


Y” Se deben recopilar los datos de linea de base e incorporar una metodolo- 
gía de respaldo en el diseño de la evaluación de impacto. Si el diseño de la 
evaluación original es invalidado -por ejemplo, porque el grupo de com- 
paración original recibe los beneficios del programa-, contar con un plan 
de respaldo puede ayudar a evitar tener que renunciar por completo a la 
evaluación. 


Y” Se deben mantener identificadores comunes entre diferentes fuentes de 
datos para las unidades de observación, de modo que se les pueda rela- 
cionar fácilmente durante el análisis. Por ejemplo, un determinado 
hogar debe tener el mismo identificador en los sistemas de monitoreo y 
en las encuestas de línea de base y de seguimiento de la evaluación de 
impacto. 


Y” Las evaluaciones de impacto son útiles para aprender cómo funcionan 
los programas y para probar alternativas de programas, incluso en el caso 
de grandes programas en curso. Las evaluaciones de impacto bien 
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diseñadas pueden contribuir a probar innovaciones o a proporcionar 
nuevas perspectivas de la efectividad relativa de diversos productos y 
servicios prestados como un paquete de programas existentes. Incorporar 
una innovación adicional al programa como un pequeño plan piloto en el 
contexto de una evaluación más grande puede servir para aprovechar la 
evaluación a fin de producir información valiosa para la toma de decisio- 
nes en el futuro. 


Y” Se debe pensar en las evaluaciones de impacto como otro de los compo- 
nentes de la operación de un programa y se les debe dotar de personal 
adecuado y de un presupuesto que contemple los recursos técnicos y 
financieros necesarios. Es preciso ser realista acerca de los costos y la 
complejidad de llevar a cabo una evaluación de impacto. Normalmente, 
el proceso de diseñar una evaluación y recopilar una línea de base desde 
cero puede tardar un año o más. Una vez que el programa comienza, el 
grupo de tratamiento necesita un periodo suficientemente largo de expo- 
sición a la intervención para influir en los resultados. Dependiendo del 
programa, esto puede tardar entre un año y cinco años, o más en el caso 
de resultados de largo plazo. Recopilar una o más encuestas de segui- 
miento, llevar a cabo el análisis y divulgar los resultados también reque- 
rirá un esfuerzo considerable a lo largo de varios meses y años. En su 
conjunto, un ciclo completo de evaluación de impacto desde el comienzo 
hasta el final suele durar entre tres y cuatro años de intensivo trabajo y 
participación. Se requieren recursos financieros y técnicos adecuados en 
cada paso del proceso. 


Eventualmente, las evaluaciones de impacto individuales ofrecen res- 
puestas concretas a preguntas específicas de políticas públicas. Aunque 
estas respuestas proporcionan información hecha a la medida de la enti- 
dad específica que encarga y financia la evaluación, también brindan 
información valiosa para otros agentes en otras partes del mundo, que 
pueden aprender y tomar decisiones sobre la base de la evidencia. Por 
ejemplo, los programas de transferencias condicionadas de África, Asia 
y Europa han extraido enseñanzas de las evaluaciones originales de 
Familias en Acción de Colombia, Progresa de México y otros programas 
de transferencias condicionadas de América Latina. De esta manera, las 
evaluaciones de impacto constituyen en parte un bien público global. La 
evidencia que se genera a través de una evaluación de impacto se suma al 
conocimiento mundial sobre este tema. Esta base de conocimientos luego 
puede fundamentar decisiones de políticas de otros países y contextos, 
prestando la atención adecuada a la validez externa. La comunidad inter- 
nacional ha avanzado rápidamente hacia un apoyo de mayor escala de 
evaluaciones rigurosas. 


La evaluación de impacto en la práctica 


A nivel de país, gobiernos cada vez más sofisticados y exigentes esperan 
demostrar resultados y ser más capaces de rendir cuentas ante sus electores 
clave. Se emprenden cada vez más evaluaciones de impacto de la mano de 
los ministerios nacionales y subnacionales pertinentes, y los órganos de 
gobierno creados para dirigir una agenda nacional de evaluación, como el 
Consejo Nacional de Evaluación de la Política de Desarrollo Social, en 
México, y el Departamento de Monitoreo y Evaluación del Desempeño 
en Sudáfrica (Department of Performance Monitoring and Evaluation). 
También se utiliza la evidencia de estas evaluaciones para fundamentar las 
asignaciones presupuestarias propuestas por el Congreso y el Parlamento a 
nivel nacional. En los sistemas donde los programas se juzgan a partir de la 
evidencia y los resultados finales, los programas que tienen una sólida base 
de evidencia para defender resultados positivos podrán salir adelante, 
mientras que los que carecen de dichas pruebas tendrán más dificultades 
para encontrar financiamiento. 

Las instituciones multilaterales como el Banco Mundial y el Banco 
Interamericano de Desarrollo (BID), así como los organismos nacionales de 
desarrollo, los gobiernos donantes y las instituciones filantrópicas también 
exigen más y mejor evidencia sobre el uso efectivo de los recursos para el 
desarrollo. Esta evidencia se requiere para rendir cuentas a quienes prestan 
o donan el dinero, y para la toma de decisiones acerca de dónde es mejor 
asignar los escasos recursos para el desarrollo. 

Asimismo, está emergiendo un número creciente de instituciones 
dedicadas principalmente a la producción de evaluaciones de impacto de 
alta calidad, entre ellas las del ámbito académico como Poverty Action Lab 
(J-Pal), Innovations for Poverty Action (IPA), y el Center for Effective 
Global Action (CEGA), y organismos independientes que apoyan las eva- 
luaciones de impacto, como la Iniciativa Internacional para la Evaluación 
de Impacto (ie). Hay diversas asociaciones que reúnen a grupos de profe- 
sionales de la evaluación e investigadores y responsables de las políticas 
interesados en el tema, entre ellas la Network of Networks on Impact 
Evaluation y asociaciones regionales como la African Evaluation 
Association y la Red de Evaluación de Impacto de la Asociación Económica 
de América Latina y el Caribe. Todas estas iniciativas reflejan la creciente 
importancia de la evaluación de impacto en las políticas internacionales de 
desarrollo. 

Debido a estos avances, poder comunicarse en el lenguaje de la evaluación 
de impacto es una habilidad cada vez más indispensable para cualquier pro- 
fesional del desarrollo, ya sea para quienes se ganan la vida trabajando en eva- 
luaciones, o bien para los que contratan evaluaciones de impacto o utilizan 
los resultados de las mismas en la toma de decisiones. La rigurosa evidencia 
generada a través de las evaluaciones de impacto puede ser uno de los 
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motores del diálogo de políticas para el desarrollo, y proporcionar la base 
para apoyar o para oponerse a las inversiones en programas y políticas de 
desarrollo. La evidencia de las evaluaciones de impacto permite a los respon- 
sables de las políticas y a los administradores de los proyectos tomar decisio- 
nes fundamentadas sobre cómo alcanzar resultados de la manera más 
costo-efectiva. Armado con la evidencia de una evaluación de impacto, el 
equipo de políticas públicas tiene el deber de cerrar el ciclo incorporando 
esos resultados en el proceso de toma de decisiones. Este tipo de evidencia 
puede respaldar debates, opiniones y, en definitiva, las decisiones de asigna- 
ción de recursos humanos y monetarios de los gobiernos, las instituciones 
multilaterales y los donantes. 

La elaboración de políticas basadas en la evidencia tiene que ver esen- 
cialmente con fundamentar el diseño de programas y mejorar la asignación 
presupuestaria para ampliar los programas costo-efectivos, eliminar los 
inefectivos e introducir mejoras en los diseños sobre la base de la mejor 
evidencia disponible. Las evaluaciones de impacto no son una empresa 
puramente académica. Son el resultado de la necesidad de encontrar 
respuestas a las preguntas de políticas que influyen en la vida diaria de las 
personas. Las decisiones sobre cuál es la mejor manera de asignar recursos 
escasos a los programas de lucha contra la pobreza, o de transporte, energía, 
salud, educación, de redes de protección, microcréditos, agricultura, y otras 
innumerables iniciativas para el desarrollo, tienen el potencial para mejorar 
el bienestar de las personas en todo el mundo. Es vital que esas decisiones se 
tomen utilizando la evidencia más rigurosa posible. 


La evaluación de impacto en la práctica 


GLOSARIO 


Los términos que llevan cursiva dentro de las definiciones se definen a su vez dentro 
del propio glosario. 


Actividad. Medidas adoptadas o trabajo realizado a través del cual los insumos, 
como los fondos, la asistencia técnica y otro tipo de recursos que se movilizan para 
generar productos específicos, como el dinero gastado, los libros de texto distribui- 
dos o el número de participantes en un programa de empleo. 


Análisis de costo-beneficio. Estima los beneficios totales previstos de un 
programa, en comparación con sus costos totales previstos. Su fin es cuantificar 
todos los costos y beneficios de un programa en términos monetarios y evaluar si los 
beneficios superan a los costos. 


Análisis de costo-efectividad. Compara el costo relativo de dos o más programas 
o alternativas de programa en términos de alcanzar un resultado común, como la 
producción agrícola o las calificaciones de los alumnos en los exámenes. 


Análisis de regresión. Método estadístico para analizar las relaciones entre una 
variable dependiente (la variable que se debe explicar) y variables explicativas. El 
análisis de regresión normalmente no es suficiente para capturar los efectos causales. 
En la evaluación de impacto, el análisis de regresión es una manera de representar la 
relación entre el valor de un indicador de resultado Y (variable dependiente) y una 
variable independiente que captura la asignación al grupo de tratamiento o grupo de 
comparación, mientras se mantienen constantes otras características. Tanto la asig- 
nación al grupo de tratamiento y de comparación como las demás características son 
variables explicativas. El análisis de regresión puede ser univariante (si hay solo una 
variable explicativa; en el caso de la evaluación de impacto, la única variable explica- 
tiva es la asignación al grupo de tratamiento o de comparación) o multivariante 
(si hay varias variables explicativas). 


Análisis de sensibilidad. Trata de la sensibilidad del análisis ante los cambios en 
los supuestos. En el contexto de los cálculos de potencia, contribuye a comprender 
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cuánto tendrá que aumentar el tamaño requerido de la muestra bajo supuestos más 
conservadores (como un menor impacto esperado, una mayor variación en el 
indicador de resultado o un nivel más alto de potencia). 


Asignación aleatoria o ensayo controlado aleatorio. Método de evaluación de 
impacto por el cual cada unidad elegible (por ejemplo, un individuo, un hogar, una 
empresa, una escuela, un hospital o una comunidad) tiene la misma probabilidad 
de ser seleccionada para ser tratada en un programa. Con un número suficiente- 
mente grande de unidades, el proceso de asignación aleatoria garantiza la equiva- 
lencia tanto en las características observables como no observables entre el grupo 
de tratamiento y el grupo de comparación, y así se descarta cualquier sesgo de 
selección. La asignación aleatoria se considera el método más robusto para estimar 
los contrafactuales y se le suele considerar como la regla de oro de la evaluación de 
impacto. 


Cadena de resultados. Establece la lógica causal del programa explicando cómo se 
logra el objetivo de desarrollo. Articula la secuencia de insumos, actividades y 
productos que se espera que mejoren los resultados. 


Cálculos de potencia. Método para determinar cuál es el tamaño de la muestra 
requerida para que una evaluación de impacto estime con precisión el impacto de un 
programa, es decir: la muestra más pequeña que permitirá detectar el efecto mínimo 
detectable. Los cálculos de potencia dependen de parámetros como la potencia (o la 
probabilidad de un error de tipo ID, el nivel de significancia, la media, la varianza y la 
correlación intra-clusters de los resultados de interés. 


Censo. Empadronamiento total de una población. Los datos censales abarcan todas 
las unidades de la población. Compárese con muestra. 


Ciencia abierta. Movimiento cuyo fin es elaborar métodos de investigación más 
transparentes, mediante el registro de los ensayos, la utilización de planes de 
preanálisis, documentación de datos y registros. 


Comparación antes y después. También conocida como “comparación previa- 
posterior” o “comparación reflexiva”. Se trata de un seguimiento de los cambios en 
los resultados para los beneficiarios del programa a lo largo del tiempo, utilizando 
mediciones antes y después de la implementación del programa o la política, sin 
utilizar un grupo de comparación. 


Comparaciones de inscritos y no inscritos. También conocidas como compara- 
ciones autoseleccionadas. Esta estrategia compara los resultados de las unidades que 
decidieron inscribirse y las unidades que decidieron no inscribirse en un programa. 


Cluster. También llamado conglomerado. Grupo de unidades que pueden compartir 
características similares. Por ejemplo, los niños que asisten a la misma escuela 
pertenecen a un mismo cluster porque comparten el mismo centro escolar, los 
mismos profesores y viven en el mismo barrio. 

Consentimiento informado. Uno de los fundamentos de la protección de los 
derechos de los sujetos humanos. En el caso de las evaluaciones de impacto, requiere 
que los encuestados comprendan claramente los fines, procedimientos, riesgos y 
beneficios de la recopilación de datos en la que se les pide participar. 


La evaluación de impacto en la práctica 


Contrafactual. Valor que habría tenido el resultado (Y) para los participantes del pro- 
grama si no hubieran participado en el programa (P). Por definición, el contrafactual no 
se puede observar. Por lo tanto, debe estimarse utilizando un grupo de comparación. 


Correlación. Medida estadística que indica hasta qué punto dos o más variables 
fluctúan juntas. 


Correlación intra-clusters. También conocida como “correlación intraclase”. Se 
trata del nivel de similitud en los resultados o características entre las unidades de los 
grupos previamente existentes o clusters en relación con unidades de otros clusters. 
Por ejemplo, los niños que asisten a la misma escuela normalmente serían más 
similares o estarían más correlacionados en términos de sus zonas de residencia o 
antecedentes socioeconómicos, en comparación con niños que no asisten a esa escuela. 


Cumplimiento. Fenómeno que se produce cuando las unidades adhieren a su 
asignación como parte del grupo de tratamiento o del grupo de comparación. 


Cumplimiento imperfecto. Discrepancia entre el estatus de tratamiento asignado 
y la condición de tratamiento real. Se produce cuando algunas unidades asignadas al 
grupo de comparación participan en el programa, o cuando algunas unidades asigna- 
das al grupo de tratamiento no participan. 


Datos administrativos. Datos recopilados asiduamente por organismos públicos o 
privados como parte de la administración de un programa, normalmente con 
frecuencia periódica y a menudo en el lugar de la prestación de servicios, e incluyen 
los servicios prestados, los costos y la participación en el programa. Los datos de 
monitoreo constituyen un tipo de datos administrativos. 


Datos de encuesta. Datos que cubren una muestra de la población de interés. 
Compárese con censo. 


Datos de monitoreo. Datos provenientes del monitoreo del programa que proporcio- 
nan información esencial a propósito de la prestación de una intervención, e incluyen 
quiénes son los beneficiarios y qué beneficios o productos del programa pueden haber 
recibido. Los datos de monitoreo constituyen un tipo de datos administrativos. 


Desgaste. El desgaste se produce cuando algunas unidades abandonan la mues- 
tra entre una ronda de datos y la siguiente. Por ejemplo, cuando las personas 
cambian su residencia y no se les puede localizar. El desgaste de la muestra es un 
caso de falta de respuesta de la unidad. Puede introducir un sesgo en la estimación 
de impacto. 


Diferencias en diferencias. También conocido como “doble diferencia” o “DD”. 
Las diferencias en diferencias comparan los cambios en los resultados a lo largo del 
tiempo entre el grupo de tratamiento y el grupo de comparación. Esto elimina 
cualquier diferencia entre estos grupos que sea constante a lo largo del tiempo. 


Diseño cruzado. También denominado diseño transversal. Se produce cuando hay 
una asignación aleatoria con dos o más intervenciones, lo que permite estimar el 
impacto de las intervenciones individuales y combinadas. 


Diseño de regresión discontinua (DRD). Método de evaluación de impacto cuasi 
experimental que se puede utilizar en programas que dependen de un índice 
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continuo para clasificar a los participantes potenciales. Dicho índice tiene un punto 
límite que determina si los participantes potenciales son elegibles para recibir el 
programa o no. El umbral de elegibilidad del programa proporciona un punto 
divisorio entre el grupo de tratamiento y el grupo de comparación. Los resultados para 
los participantes en un lado del umbral se comparan con los resultados de los no 
participantes al otro lado del umbral. Cuando todas las unidades cumplen con la 
asignación que corresponde sobre la base de su índice de elegibilidad, se dice que el 
DRD es “nítido”. Si hay incumplimiento en el otro lado del umbral, se dice que el 
DRD es “difuso” o “borroso”. 


Efecto causal. Véase impacto. 


Efecto de derrame. También denominado efecto de contagio. Ocurre cuando el 
grupo de tratamiento influye directa o indirectamente en los resultados del grupo de 
comparación (o a la inversa). 


Efecto mínimo detectable. El efecto mínimo detectable es un insumo en los cálcu- 
los de potencia, es decir, proporciona el tamaño del efecto que una evaluación de 
impacto está diseñada para estimar con un determinado nivel de significancia y 
potencia. Las muestras de la evaluación tienen que ser lo bastante grandes para 
distinguir al menos el efecto mínimo detectable. Este efecto se determina teniendo 
en cuenta el cambio en los resultados que justificaría la inversión que se ha hecho en 
una intervención. 


Efecto Hawthorne. Se produce cuando, por el simple hecho de ser observadas, las 
unidades se comportan de manera diferente. 


Efecto John Henry. Acontece cuando las unidades de la comparación se 
esfuerzan más para compensar que no se les haya ofrecido el tratamiento. 
Cuando se comparan las unidades tratadas con las unidades de la comparación 
que se esfuerzan más, la estimación del impacto del programa tiene un sesgo; es 
decir, se estima un impacto menor del programa en comparación con el impacto 
real que se obtendría si las unidades de la comparación no realizaran un 
esfuerzo adicional. 


Efecto local promedio del tratamiento (LATE, por sus siglas en inglés). 
Impacto de un programa estimado para un subconjunto específico de la población, 
como las unidades que cumplen con su asignación al grupo de tratamiento o de 
comparación en presencia de un cumplimiento imperfecto, o en torno al umbral de 
elegibilidad cuando se aplica un diseño de regresión discontinua. Por lo tanto, el 
LATE proporciona solo una estimación local del impacto del programa y no debería 
generalizarse al conjunto de la población. 


Efectos de equilibrio de contexto. Efectos de derrame que se producen cuando 
una intervención influye en las normas de conducta o sociales en un contexto 
determinado, como una localidad tratada. 


Efectos de equilibrio general. Estos efectos de derrame se producen cuando las 
intervenciones afectan la oferta y demanda de bienes y servicios y, por lo tanto, 
cambian el precio de mercado de esos servicios. 


La evaluación de impacto en la práctica 


Efecto promedio del tratamiento (ATE, por sus siglas en inglés). Impacto del 
programa bajo el supuesto de cumplimiento total; es decir, todas las unidades que 
hayan sido asignadas a un programa se inscriben realmente en él, y ninguna de las 
unidades de comparación recibe el programa. 


Encuesta de seguimiento. También conocida como encuesta “posterior a la 
intervención”. Se trata de una encuesta realizada después de que el programa ha 
comenzado, una vez que los beneficiarios se han beneficiado de él durante algún 
tiempo. Una evaluación de impacto puede incluir varias encuestas de seguimiento, a 
veces denominadas encuestas “intermedias” y “finales”. 


Equipo de evaluación. Equipo que lleva a cabo la evaluación. Se trata en esencia de 
una asociación entre dos grupos: un equipo de responsables de las políticas públicas 
(equipo de políticas) y un equipo de investigadores (equipo de investigación). 


EMIARF (en inglés, SMART). Específico, medible, atribuible, realista y focalizado. 
Los buenos indicadores tienen estas características. 


Error de tipo I. También conocido como falso positivo. Este error se comete cuando 
se rechaza una hipótesis nula que, en realidad, es válida. En el contexto de una 
evaluación de impacto, se comete un error de tipo I cuando una evaluación llega a la 
conclusión de que un programa ha tenido un impacto (es decir, se rechaza la hipóte- 
sis nula de falta de impacto), aunque en realidad el programa no ha tenido impacto 
(es decir, la hipótesis nula se mantiene). El nivel de significancia es la probabilidad de 
cometer un error de tipo I. 


Error de tipo II. También conocido como falso negativo. Este error se comete 
cuando se acepta (no se rechaza) la hipótesis nula, pese a que esta última, de hecho, 
no es válida. En el contexto de una evaluación de impacto, se comete un error de tipo 
II cuando se llega a la conclusión de que un programa no ha tenido impacto (es decir 
no se rechaza la hipótesis nula de falta de impacto), aunque el programa de hecho 
tuvo impacto (es decir, la hipótesis nula no es válida). La probabilidad de cometer un 
error de tipo II es 1 menos el nivel de potencia. 


Estimación de tratamiento en los tratados. La estimación del impacto del 
tratamiento en aquellas unidades que en la práctica se han beneficiado del trata- 
miento. Compárese con intención de tratar. 


Estimador. En Estadística, es una regla utilizada para calcular una característica 
desconocida de una población a partir de los datos (técnicamente conocido como 
“parámetro”); una estimación es el resultado de la aplicación real de una regla a una 
muestra concreta de datos. 


Estudio de efectividad. Analiza si un programa funciona en condiciones normales 
al aumentar la escala. Cuando están adecuadamente diseñados e implementados, los 
resultados de estos estudios pueden ser más generalizables que en el caso de los 
estudios de eficacia. 


Estudio de eficacia. Analiza si un programa puede funcionar en condiciones 
ideales. Estos estudios se llevan a cabo en circunstancias muy específicas, a menudo 
con una fuerte participación técnica de los investigadores durante laimplementación 
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del programa. Suelen emprenderse para probar la viabilidad de un programa nuevo. 
Sus resultados no son generalizables más allá del alcance de la evaluación. 


Evaluación. Valoración periódica y objetiva de un proyecto, un programa o una 
política planificados, en curso o finalizados. Las evaluaciones se utilizan para 
responder preguntas específicas, a menudo relacionadas con el diseño, la implemen- 
tación o los resultados. 


Evaluación de impacto. Evaluación que intenta establecer un vínculo causal entre 
un programa o intervención y un conjunto de resultados. Una evaluación de impacto 
procura responder a la pregunta: ¿cuál es el impacto (o efecto causal) de un programa 
en un resultado de interés? 


Evaluación de proceso. Evaluación que se centra en cómo se implementa y 
funciona un programa, y que evalúa si se corresponde con su diseño original y docu- 
menta su desarrollo y funcionamiento. Compárese con evaluación de impacto. 


Evaluación prospectiva. Evaluaciones diseñadas y aplicadas antes de que se imple- 
mente un programa. Las evaluaciones prospectivas están incorporadas en los planes 
de implementación del programa. Compárese con evaluación retrospectiva. 


Evaluación retrospectiva. Evaluación diseñada después de que se ha implemen- 
tado un programa (ex post). Compárese con evaluación prospectiva. 


Experimento de mecanismo. Evaluación de impacto que prueba un mecanismo 
causal particular dentro de la teoría del cambio de un programa, en lugar de probar el 
efecto causal (impacto) del programa como un todo. 


Factor invariante en el tiempo. Factor que no varía a lo largo del tiempo; es 
constante. 


Factor variante en el tiempo. Factor que varía a lo largo del tiempo. 


Falta de rango común. Cuando se utiliza el método de pareamiento, la falta de 
rango común es una falta de superposición entre los puntajes de propensión del grupo 
de tratamiento, o inscrito, y los del grupo de no inscritos. 


Falta de respuesta. Se produce cuando faltan datos o los datos son incompletos 
para algunas unidades de la muestra. La falta de respuesta de la unidad surge cuando 
no hay información disponible para algunas unidades de la muestra, es decir, cuando 
la muestra real es diferente de la muestra planificada. Una forma de falta de respuesta 
a nivel de la unidad es el desgaste. La falta de respuesta de una entrada se produce 
cuando los datos son incompletos para algunas unidades de la muestra en un 
determinado momento del tiempo. La falta de respuesta puede generar sesgos en los 
resultados de una evaluación si está asociada con la condición de tratamiento. 


Falta de respuesta de la unidad. Surge cuando no hay información disponible 
para un subconjunto de unidades; es decir, cuando la muestra real es diferente de la 
muestra planificada. 


Falta de respuesta de una entrada. Ocurre cuando los datos son incompletos 
para algunas unidades de la muestra. 


La evaluación de impacto en la práctica 


Generabilidad. La medida en que los resultados de una evaluación en un ámbito 
local serán válidos en otros contextos y en otros grupos de población. 


Grupo de comparación. También conocido como grupo de control. Un grupo de 
comparación válido tendrá las mismas características, en promedio, que el grupo de 
beneficiarios del programa (grupo de tratamiento), con la única diferencia de que las 
unidades del grupo de comparación no se benefician del programa que se evalúa. Los 
grupos de comparación se utilizan para estimar el contrafactual. 


Grupo de control. También conocido como grupo de comparación (véase la 
definición). 
Grupo de tratamiento. También conocido como grupo tratado o grupo de 


intervención. El grupo de tratamiento es el grupo de unidades que es objeto de una 
intervención versus el grupo de comparación, que no es objeto de ella. 


Hipótesis. Explicación propuesta de un fenómeno observable. Véase también 
hipótesis nula e hipótesis alternativa. 


Hipótesis alternativa. Suposición de que la hipótesis nula es falsa. En una evalua- 
ción de impacto, la hipótesis alternativa suele ser la hipótesis de que la intervención 
tiene un impacto en los resultados. 


Hipótesis nula. Hipótesis que puede ser falsificada sobre la base de los datos 
observados. Normalmente, la hipótesis nula propone una posición general o por 
defecto. En la evaluación de impacto, la hipótesis nula suele ser que el programa no 
tiene impacto, es decir: la diferencia entre el resultado del grupo de tratamiento y el 
grupo de comparación es cero. 


Impacto. También conocido como efecto causal. En el contexto de las evaluaciones 
de impacto, un impacto es un cambio directamente atribuible a un programa, a una 
modalidad del programa o a innovaciones de diseño. 


Indicador. Variable que mide un fenómeno de interés para el evaluador. El fenó- 
meno puede ser un insumo, un producto, un resultado, una característica o un 
atributo. Véase también EMARF. 


Índice de elegibilidad. También conocido como variable forzada. Se trata de una 
variable que permite clasificar a la población de interés a lo largo de una línea 
continua y tiene un umbral o una puntuación límite que determina quién es elegible 
y quién no lo es. 


Insumos. Los recursos financieros, humanos y materiales utilizados en la 
intervención. 


Intención de tratar (ITT, por sus siglas en inglés). Las estimaciones de ITT 
miden la diferencia en los resultados entre las unidades asignadas al grupo de trata- 
miento y las asignadas al grupo de comparación, independientemente de si las 
unidades de cada grupo recibieron en realidad el tratamiento. 


Intervención. En el contexto de la evaluación de impacto, se trata del proyecto, del 
programa o de la política que se evalúa. También conocida como tratamiento. 
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Junta de revisión institucional (JRI). Comité nombrado para examinar, aprobar y 
monitorear la investigación con sujetos humanos. También conocido como Comité 
de ética independiente o Junta de revisión ética. 


Línea de base. Situación previa a una intervención, con respecto a la cual se puede 
valorar el progreso o se pueden hacer comparaciones. La línea de base se recopila en 
forma previa a la implementación de un programa o política para observar la 
situación antes. La disponibilidad de datos de línea de base es fundamental para 
documentar el equilibrio en las características anteriores al programa entre los 
grupos de tratamiento y de comparación. Los datos de línea de base son necesarios 
para algunos diseños cuasi experimentales. 


Marco muestral. Lista exhaustiva de las unidades de la población de interés. Se 
requiere un marco muestral adecuado para asegurar que las conclusiones a las que se 
arribe a partir del análisis de una muestra se puedan generalizar a toda la población. 
Las diferencias entre el marco muestral y la población de interés crea un sesgo de 
cobertura. Ante la presencia de dicho sesgo, los resultados de la muestra no tienen 
validez externa para toda la población de interés. 


Método cuasi experimental. Métodos de evaluación de impacto que no dependen de 
la asignación aleatoria del tratamiento. Las diferencias en diferencias, el diseño de 
regresión discontinua y el pareamiento son ejemplos de métodos cuasi experimentales. 


Método de control sintético. Un método de pareamiento específico que permite 
estimar el impacto en contextos donde una única unidad (como un país, una empresa 
o un hospital) es objeto de una intervención o es expuesto a un suceso. En lugar de 
comparar esta unidad tratada con un grupo de unidades no tratadas, el método 
utiliza información sobre las características de la unidad tratada y las unidades no 
tratadas para construir una unidad de comparación sintética o artificial, ponderando 
cada unidad no tratada de tal manera que la unidad de comparación sintética se 
parezca todo lo posible a la unidad tratada. Esto requiere una larga serie de observa- 
ciones a lo largo del tiempo, tanto de las características de la unidad tratada como de 
las unidades no tratadas. Esta combinación de unidades de comparación en una 
unidad sintética proporciona una mejor comparación para la unidad tratada que 
cualquier unidad no tratada individualmente. 


Métodos mixtos. Enfoque analítico que combina datos cuantitativos y cualitativos. 
Minería de datos. Práctica de manipular los datos en busca de resultados concretos. 


Monitoreo. Proceso continuo de recopilar y analizar información para evaluar el 
desempeño de un proyecto, un programa o una política. El monitoreo suele hacer un 
seguimiento de los insumos, actividades y productos, aunque ocasionalmente también 
incluye los resultados. Se utiliza para fundamentar la gestión y las decisiones diarias. 
También se puede emplear para hacer un seguimiento del desempeño en relación 
con los resultados previstos, establecer comparaciones entre programas y analizar 
las tendencias a lo largo del tiempo. 


Muestra aleatoria. Muestra extraída a partir de un muestreo probabilístico, por lo 
cual cada unidad en el marco muestral tiene una probabilidad conocida de ser 
extraída. Seleccionar una muestra aleatoria es la mejor manera de evitar una muestra 
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no representativa. El muestreo aleatorio no debería confundirse con la asignación 
aleatoria. 


Muestra conglomerada. Una muestra compuesta de clusters. 


Muestra estratificada. Se obtiene dividiendo la población de interés (marco mues- 
tral) en grupos (por ejemplo, hombres y mujeres) y luego definiendo una muestra 
aleatoria en cada grupo. Una muestra estratificada es una muestra probabilística: 
todas las unidades de cada grupo (o estrato) tienen la misma probabilidad de ser 
asignadas. Siempre que todos los grupos sean lo bastante grandes, el muestreo 
estratificado permite elaborar inferencias a propósito de los resultados no solo a 
nivel de la población sino también dentro de cada grupo. 


Muestra. En Estadística, una muestra es un subconjunto de una población de interés. 
Normalmente, la población es muy grande, lo cual hace impracticable o imposible 
realizar un censo o un registro completo de todos sus valores. En cambio, los investi- 
gadores pueden seleccionar un subconjunto representativo de la población (utili- 
zando un marco muestral) y recopilar estadísticas sobre la muestra. Estas se pueden 
utilizar para hacer inferencias o para extrapolar a la población. Este proceso se 
conoce como muestreo. Compárese con censo. 


Muestreo. Proceso por el cual las unidades se extraen del marco muestral creado a 
partir de la población de interés. Se pueden utilizar diversas alternativas de procedi- 
mientos de muestreo. Los métodos de muestreo probabilístico son los más rigurosos, 
ya que asignan una probabilidad bien definida a cada unidad que será extraída. El 
muestreo aleatorio, el muestreo aleatorio estratificado y el muestreo conglomerado son 
métodos de muestreo probabilístico. El muestreo no probabilístico (por ejemplo, el 
muestreo intencional o por conveniencia) puede generar errores de muestreo. 


Muestreo probabilístico. Proceso de muestreo que asigna una probabilidad bien 
definida a cada unidad que será extraída de un marco muestral. Incluye el muestreo 
aleatorio, el muestreo aleatorio estratificado y el muestreo de clusters. 


Pareamiento por puntajes de propensión. Método de pareamiento que depende 
de los puntajes de propensión para encontrar el mejor grupo de comparación posible 
para un determinado grupo de tratamiento. 


Pareamiento. Método no experimental de evaluación de impacto que utiliza grandes 
bases de datos y técnicas estadísticas para construir el mejor grupo de comparación 
posible para un determinado grupo de tratamiento sobre la base de características 
observables. 


Población de interés. Grupo exhaustivo de todas las unidades (como individuos, 
hogares, empresas, centros) elegibles para recibir una intervención o un tratamiento, 
y para los cuales una evaluación de impacto se propone estimar los impactos del 
programa. 


Potencia (o potencia estadística). Probabilidad de que una evaluación de impacto 
detecte un impacto (es decir, una diferencia entre el grupo de tratamiento y el grupo 
de comparación) cuando, de hecho, hay un impacto. La potencia es igual a 1 menos la 
probabilidad de un error de tipo II, que oscila entre O y 1. Los niveles habituales de 
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potencia son 0,8 y 0,9. Los niveles altos de potencia son más conservadores, lo que 
significa que hay una baja probabilidad de no detectar los impactos reales del 
programa. 


Potencia estadística. La potencia de una prueba estadística es la probabilidad de 
que la prueba rechace la hipótesis nula cuando la hipótesis alternativa es verdadera 
(es decir, que no se cometerá un error de tipo ID. A medida que la potencia aumenta, 
la probabilidad de un error de tipo IT disminuye. La probabilidad de un error de tipo 
II se denomina tasa negativa falsa (B). Por lo tanto, la potencia es igual a 1 - B. 


Producto. Productos, bienes y servicios tangibles producidos (suministrados) 
directamente por las actividades de un programa. La generación de productos está 
directamente bajo el control del organismo ejecutor del programa. El uso de los 
productos por parte de los beneficiarios contribuye a cambios en los resultados. 


Promoción aleatoria. Método de variables instrumentales para estimar los impac- 
tos de un programa. El método asigna de forma aleatoria a un subgrupo de unidades 
una promoción, o incentivo, para participar en el programa. La promoción aleatoria 
busca aumentar la participación voluntaria en un programa en una submuestra de la 
población seleccionada aleatoriamente. La promoción puede adoptar la forma de un 
incentivo, estímulo o información adicional que motiva a las unidades a inscribirse 
en el programa, sin influir directamente en el resultado de interés. De esta manera, el 
programa puede quedar abierto a todas las unidades elegibles. 


Prueba de placebo. Prueba falsificada que se utiliza para evaluar si los supuestos 
de un método se mantienen. Por ejemplo, cuando se aplica el método de diferencias 
en diferencias, se puede implementar una prueba de placebo utilizando un grupo de 
tratamiento falso o un resultado falso, es decir: un grupo o resultado que se sabe que 
no se ve afectado por el programa. Las pruebas de placebo no pueden confirmar que 
los supuestos sean válidos, pero pueden poner de manifiesto los casos en que los 
supuestos no se sostienen. 


Prueba de significancia. Prueba de si la hipótesis alternativa alcanza el nivel 
predeterminado de significancia con el fin de que esta se acepte de preferencia a la 
hipótesis nula. Si una prueba de significancia da un valor p menor que el nivel de 
significancia estadística (o), la hipótesis nula es rechazada. 


Puntaje de propensión. En el contexto de la evaluación de impacto, el puntaje de 
propensión es la probabilidad de que una unidad participe en el programa sobre la 
base de las características observables. Esta puntuación es un número real entre O y 
1 que resume la influencia de todas las características observables en la probabilidad 
de inscribirse en el programa. 


Resultado. Resultado de interés que se mide a nivel de los beneficiarios del pro- 
grama. Resultados que deben alcanzarse una vez que la población beneficiaria utilice 
los productos del proyecto. Los resultados no están directamente bajo el control de 
un organismo ejecutor del programa. En ellos influye tanto la implementación de un 
programa (las actividades y productos que genera) como las respuestas de las conduc- 
tas de los beneficiarios expuestos a ese programa (el uso que los beneficiarios hacen 
de los beneficios a los que están expuestos). Un resultado puede ser intermedio o 
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final (de largo plazo). Los resultados finales son resultados más distantes. La distan- 
cia se puede interpretar en términos de tiempo (se tarda más en conseguir el resul- 
tado) o en términos de causalidad (se requieren numerosos vínculos causales para 
alcanzar el resultado y en ello influyen múltiples factores). 


Selección. Se produce cuando la participación en el programa se basa en las 
preferencias, decisiones o características no observables de los participantes o de los 
administradores del programa. 


Sesgo. En la evaluación de impacto, el sesgo es la diferencia entre el impacto que se 
calcula y el verdadero impacto del programa. 


Sesgo de cobertura. Se produce cuando un marco muestral no coincide exacta- 
mente con la población de interés. 


Sesgo de selección. El impacto estimado sufre un sesgo de selección cuando se 
desvía del impacto verdadero en presencia de la selección. Esto suele ocurrir cuando 
se correlacionan motivos no observados para participar en el programa con los resul- 
tados. Este sesgo normalmente acontece cuando el grupo de comparación es no elegi- 
ble o se autoexcluye del tratamiento. 


Sesgo de sustitución. Efecto no intencionado de la conducta que afecta al grupo de 
comparación. Las unidades que no fueron seleccionadas para recibir el programa 
pueden encontrar buenos sustitutos para el tratamiento a través de su propia 
iniciativa. 

Significancia. La significancia estadística señala la probabilidad de cometer un 
error de tipo I; es decir, la probabilidad de detectar un impacto que en realidad no 
existe. El nivel de significancia suele señalarse con el símbolo griego al (alfa). Los 
niveles más habituales de significancia son del 10%, 5% y 1%. Cuanto menor sea el 
nivel de significancia, mayor será la confianza de que el impacto estimado es real. 
Por ejemplo, si el nivel de significancia se fija en 5%, se puede tener un 95% de con- 
fianza al concluir que el programa ha tenido impacto, si de hecho se observa un 
impacto significativo. 


Simulaciones ex ante. Evaluaciones que utilizan datos disponibles para simular 
los efectos previstos de un programa o de la reforma de una política en los resultados 
de interés. 


Supuesto de estabilidad del valor de la unidad de tratamiento (SUTVA). 
Requisito básico de que el resultado de una unidad no debería verse afectado por la 
asignación del tratamiento a otras unidades. Esto es necesario para asegurar que la 
asignación aleatoria produzca estimaciones de impacto no sesgadas. 


Tamaño del efecto. Magnitud del cambio en un resultado, que es causado por una 
intervención. 


Teoría del cambio. Explica los canales a través de los cuales los programas pueden 
influir en los resultados finales. Describe la lógica causal de cómo y por qué un 
programa, una modalidad de programa o una innovación de diseño en particular 
logrará sus resultados deseados. Una teoría del cambio es una pieza clave en cualquier 
evaluación de impacto, dada la focalización de causa y efecto de la investigación. 
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Tratamiento. Véase intervención. 


Tratamiento en los tratados (TOT, por sus siglas en inglés). Las estimaciones 
TOT miden la diferencia en los resultados entre las unidades que en efecto reciben el 
tratamiento y el grupo de comparación. 


Unidad. Persona, hogar, comunidad, empresa, escuela, hospital u otra unidad de 
observación que pueda ser objeto de un programa o verse afectada por él. 


Validez externa. Una evaluación es externamente válida si la muestra de la evalua- 
ción representa con precisión a la población de unidades elegibles. Los resultados de 
la evaluación luego se pueden generalizar a la población de unidades elegibles. 
Estadisticamente, para que una evaluación de impacto sea externamente válida, la 
muestra de la evaluación debe ser representativa de la población de interés. Véase 
también validez interna. 


Validez interna. Una evaluación es internamente válida si proporciona una 
estimación precisa del contrafactual mediante un grupo de comparación válido. 


Variable. En la terminología estadística, se trata de un símbolo que representa un 
valor que puede variar. 


Variable dependiente. Normalmente, es la variable de resultado. Se trata de la 
variable que hay que explicar, por oposición a las variables explicativas. 


Variable explicativa. También conocida como variable “independiente”. Se trata de 
una variable utilizada en el lado derecho de una regresión para ayudar a explicar la 
variable dependiente en el lado izquierdo de la regresión. 


Variable instrumental (VI). También conocida como instrumento. Se basa en el uso 
de una fuente externa de variación para determinar la probabilidad de participación 
en el programa cuando la participación en el mismo está relacionada con los resulta- 
dos potenciales. El instrumento se encuentra fuera del control de los participantes y 
no tiene relación con las características de los mismos. 


Variables no observadas. Se trata de características no observables. Pueden 
incluir particularidades como la motivación, las preferencias u otros rasgos de la 
personalidad que son difíciles de medir. 
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ECO-AUDIT 
Declaración de beneficios ambientales 


El Grupo del Banco Mundial está comprometido a reducir su huella 
ambiental. En apoyo de este compromiso, la División de Publicaciones 
y Conocimiento impulsa las opciones de publicación electrónica y la 
tecnología de impresión bajo demanda, que funciona en centros regio- 
nales de todo el mundo. De forma conjunta, estas iniciativas permiten 
disminuir la cantidad de material impreso y acortar las distancias de 
envío, lo cual reduce el consumo de papel, el uso de químicos, las emi- 
siones de gases de efecto invernadero y la basura. La División de 
Publicaciones y Conocimiento sigue las recomendaciones estándares 
para el uso de papel establecidas por la Green Press Initiative. La 
mayoría de nuestros libros se imprimen en papel certificado Forest 
Stewardship Council (FSC), que contiene cerca de un 50%-100% de 
material reciclado. Las fibras recicladas del papel de nuestros libros 
no se blanquean o bien se las blanquea mediante un proceso total- 
mente libre de cloro, o con cloro elemental o mejorado. Para más 
información sobre la filosofía ambientalista del Banco, visitese el 
sitio http://www.worldbank.org/corporateresponsibility. 


green 
press 
NITIATIVE 


“La evaluación de impacto en la práctica es simplemente una joya. Propone un enfoque 
de la evaluación de impacto que busca ser creíble científicamente y, al mismo tiempo, 
reconoce las realidades prácticas de realizar este tipo de trabajo en el campo. A lo largo 
de todo el libro hay insumos valiosos en estas dos dimensiones. Yo asigno todo el tiempo 
este libro como material de lectura a la hora de capacitar profesionales interesados en la 
realización, la puesta en marcha, o el consumo de evaluaciones de impacto.” 


—Dan Levy, Catedrático Senior de Políticas Públicas y Director de la Iniciativa para 
el Fortalecimiento del Aprendizaje y la Excelencia de la Enseñanza 


“La evaluación de impacto en la práctica es una gran contribución a la agenda de desarrollo 
contemporánea. Es un recurso de gran valor para los evaluadores de los gobiernos y 
organismos de desarrollo, así como en las universidades y centros de investigación.” 


—Leonard Wantchekon, Profesor de Política y Relaciones Internacionales, Universidad 
de Princeton; Fundador y Presidente de la Escuela Africana de Economía 


“El propósito de este libro es ofrecer una guía accesible, comprehensiva y clara sobre las 
evaluaciones de impacto. El material, que va desde la motivación de la evaluación de 
impacto hasta las ventajas de las diferentes metodologías, cálculos de potencia y costos, 
se explica muy claramente, y la cobertura es impresionante. Este libro se convertirá en 
una guía muy consultada y utilizada que afectará la formulación de políticas durante los 
próximos años.” 


—Orazio Attanasio, Profesor de Economía, University College of London; Director del Centro 
de Evaluación y Políticas de Desarrollo, Instituto de Estudios Fiscales, Reino Unido 


“La versión actualizada de este libro extraordinario llega en un momento crítico: la cultura y 
el interés por la evaluación están creciendo y necesitan el apoyo de un trabajo técnico de 
calidad. La evaluación de impacto en la práctica es un recurso esencial para evaluadores, 
programas sociales, ministerios, y todos aquellos comprometidos con la toma de 
decisiones con base en buena evidencia. Esta obra es cada vez más importante a medida 
que la comunidad de desarrollo global trabaja para reducir la pobreza y alcanzar la Agenda 
de Desarrollo Sostenible 2030.” 


—Gonzalo Hernández, Secretario Ejecutivo, Consejo Nacional de Evaluación para la Política 
de Desarrollo Social, México 


El material adicional de La evaluación de impacto en la práctica se encuentra 
disponible en el sitio web: http://www.worldbank.org/ieinpractice. 
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Brief para identidad, imagen y reputación: adaptado a instituciones o empresas 
que tienen el giro en la educación 


Para lograr un estudio completo de la identidad, reputación e imagen de la marca, empresa, 
institución, organización que se encuentre en el giro del negocio de la educación se debe responder 
las preguntas que se plantean a continuación. 


1. Contexto de la institución u organización, negocio en el giro de la educación 


¿En qué sector se encuentra ubicado? 

¿Cuál es el nombre de la empresa? 

¿Cuál es la dirección de la empresa? 

¿La empresa cuenta con una página web o redes sociales? Breve descripción 

¿Cuál es el nombre de la persona encargada de trabajar la identidad de la institución u 
organización, negocio en el giro de la educación? 

¿Cuál es su cargo o relación con la institución u organización, negocio en el giro de la 
educación? 

¿Cuál es el objetivo u objetivos principales para cumplir en este proyecto? ¿Cómo luce 
el éxito de este proyecto para usted? 


2. Marca (institución u organización, negocio en el giro de la educación) 


¿Cuánto tiempo lleva la marca/institución u organización, negocio en el giro de la 
educación? ¿Tiene una trayectoria o es nuevo? 


¿Cuáles son los objetivos de la marca/institución u organización, negocio en el giro de la 
educación actualmente? 


¿Cuál es la necesidad que satisface la marca/ institución u organización, negocio en el 
giro de la educación? 


¿Qué servicios o productos proporciona la marca/ / institución u organización, negocio 
en el giro de la educación? 


¿Qué valor único obtienen los beneficiarios (estudiantes, padres de familia) al utilizar 
(adquirir) producto/servicio? 


¿Cuáles son las virtudes de la marca/ / institución u organización, negocio en el giro de 
la educación? 


¿A qué categoría pertenece la marca/ institución u organización, negocio en el giro de la 
educación? 


¿A qué se dedica la marca/ institución u organización, negocio en el giro de la 
educación? (Breve descripción) 


¿Qué valores promueve la marca/ institución u organización, negocio en el giro de la 
educación? ¿Qué destacaría? 


¿Qué es lo que hace a la marca/ institución u organización, negocio en el giro de la 
educación diferente a las demás? 


¿Cómo quiere que perciban la marca/ institución u organización, negocio en el giro de la 
educación? (palabras clave) Ej: Una marca cercana y amigable — Una marca seria, 
elegante y con muchos años de experiencia. — Una marca premium y exclusiva etc. 
¿Quiénes son los líderes del sector? 


¿Quiénes son sus principales 3-5 competidores? 


¿Cómo está buscando posicionarse en el mercado? 


3. Público Objetivo (Clientes, beneficiarios) En general, ¿Quién es tu grupo objetivo? 
(gustos, necesidades, formas de vivir, edad, estrato social, etc.) 


¿Cuál es el rango de edad de su grupo objetivo? (Las personas que principalmente a las 
que está dirigido el producto o servicio, pueden ser usuarios directos (estudiantes) o 
indirectos (padres de familia, tutores)) 
¿Qué sexo/género es tu grupo objetivo? 
¿Cuál es el nivel socioeconómico de tu grupo objetivo? 
¿Cuáles son los intereses de tu grupo objetivo? 
¿En qué ciclo de vida familiar se encuentra su grupo objetivo? (Es decir recién sale al 
mercado, cuántos años tiene en el mercado, está pasando por dificultades, está 
decayendo en el mercado) 
Con respecto a su grupo objetivo: 

= ¿Cuándo compran (utilizan el servicio o producto)? 

= ¿Cómo suele comprar? 

= ¿Con qué frecuencia compra su producto o servicio? 


4. identidad 


¿Qué comunica la / institución u organización, negocio en el giro de la educación? 
¿Cuáles son tus mayores oportunidades para mejorar? Identifica las cosas que le 
gustaría que comunicara la identidad visual de marca/ institución u organización, 
negocio en el giro de la educación. 

¿Cómo es la personalidad de su marca? Resúmalo en 3 palabras (verlo como una 
persona) 

¿Qué quiere que transmita y comunique tu logotipo y la identidad visual de su marca/ 
institución u organización, negocio en el giro de la educación? 

¿Qué objetivos tiene que cumplir esta identidad visual para funcionar correctamente? 
¿Cuáles son las posibles aplicaciones en las que se utilizará el logotipo? 

¿En dónde se va a desplegar y usar este logotipo? 

¿Dónde se utilizará PRINCIPALMENTE el logotipo? 

¿Qué paletas / gama de colores quisiera? ¿Alguna razón en particular? 

¿Qué elementos gráficos no debería tener la marca? (Elementos que tengan mala 
imagen dentro del sector/industria o que son parte de la competencia). 

¿Le gustaría que tu marca/ institución u organización, negocio en el giro de la educación 
incluya algún símbolo / icono? si es así 

¿Cuál? 

¿Cómo te gustaría que fuera el estilo de la marca/ institución u organización, negocio en 
el giro de la educación? (Tipográfico — Tipográfico + visual — Hibrido/sello/emblema) 
¿Algunas marcas/ instituciones u organizaciones, negocios en el giro de la educación de 
referente que le gusten? (No tienen que ser del mismo campo) 


e ¿La marca/ institución u organización, negocio en el giro de la educación tiene algún 
slogan o lema? 


5. Reputación 


Se deber primero preguntar a las audiencias (beneficiarios directos, indirectos, comunidad 
educativa, comunidad en general) 


e ¿Le resulta familiar nuestros productos o servicios? 

e ¿Cree que nuestra la marca/ institución u organización, negocio en el giro de la 
educación tiene una personalidad fuerte? 

e ¿Crees que la institución u organización, negocio en el giro de la educación es digna de 
confianza? 

e ¿Prefiere nuestra marca/ institución u organización, negocio en el giro de la educación a 
la competencia? 

e ¿Los proveedores y distribuidores consumen nuestros productos? ¿Nos 
recomendarían? 

e ¿Con qué probabilidad recomendaría la marca/ institución u organización, negocio en el 
giro de la educación a un amigo, padre de familia, tutor? (medición liker 1-10) 

e Cuando piensa en la marca/ institución u organización, negocio en el giro de la 
educación, ¿qué es lo primero que le viene a la mente? (pregunta abierta) 

e ¿Cómo le hace sentir la marca/ institución u organización, negocio en el giro de la 
educación? (pregunta abierta) 

e ¿Cuál de las siguientes palabras describe mejor a la marca/ institución u organización, 
negocio en el giro de la educación? (buscar adjetivos para discriminación) 

e ¿Cómo describiría la marca/ institución u organización, negocio en el giro de la 
educación a un amigo o padre de familia? (pregunta abierta, también se puede usar 
opciones) 

e ¿Cómo describiría su última interacción con la marca/ institución u organización, 
negocio en el giro de la educación? (pregunta abierta) 

e ¿Cuál describe mejor su experiencia más reciente con la marca/ institución u 
organización, negocio en el giro de la educación? (pregunta abierta, también se puede 
usar opciones) 

e ¿Cómo describiria su nivel de apego a la marca/ institución u organización, negocio en el 
giro de la educación? (pregunta de opciones) 

e ¿Qué tres palabras describen mejor sus sentimientos hacia la marca/ institución u 
organización, negocio en el giro de la educación? (pregunta abierta, también se puede 
usar opciones) 

e ¿Qué grado de familiaridad tiene con la marca/ institución u organización, negocio en el 
giro de la educación? (Escala de Likert nivel de familiaridad) 

e ¿Con qué probabilidad compraría un producto o servicio de marca/ institución u 
organización, negocio en el giro de la educación (Escala de Likert) 

e Esta pregunta también debe incluir una escala de Likert para que los clientes puedan 
seleccionar la opción que mejor se les aplique. 

e Han cambiado sus sentimientos hacia la marca/ institución u organización, negocio en el 
giro de la educación en el último año? (abierta) 

e Considera que los productos o servicios de la marca/ institución u organización, negocio 
en el giro de la educación son una solución a alguno de sus problemas? (abierta) 


También es necesario saber 
e Alcance en las redes sociales 


e Parte de voz (que opinan los seguidores) 


e Analisis del sentimiento (cuál es la opinión más generalizada) 


e Reputación en línea 


e Reputation Score, una métrica que refleja la reputación general de una marca en Internet 


Una buena reputación empresarial se construye a partir de buenas prácticas de responsabilidad 
social, valores éticos claros, buena comunicación interna y externa, y contención de crisis 


II. Proyecto de identidad, marca y reputación de una institución educativa 


A continuación, se podrá observar la diferencia de un proyecto en Marco Lógico y un 
informe de Marketing, es necesario conocer para no confundirse. 


Informe para Marketing Educativo 


Proyecto Innovador en Marco Lógico 


Contexto. Para que el receptor del 
documento tenga una visión general, es 
importante que comiences el briefing de 
marketing con una breve descripción de la 
empresa, los antecedentes y la situación 
actual. 


Línea base 

Contexto 

Datos obtenidos en el brief en función de las 
necesidades y expectativas del mercado 

La competencia 

El foda 

la línea base es el valor que se establece 
como punto de partida para evaluar y dar 
seguimiento a un objetivo 


Público objetivo. Otro aspecto que debes 
sintetizar en tu brief es comprador de tu 
negocio, para que quede claro a quién van 
a ir dirigidas las acciones de 
comunicación. 


Beneficiarios 

Personas, instituciones u organizaciones se 
ven afectadas directamente positiva o 
negativamente por las acciones de la 
institución/organización/empresa 


Stakeholders Personas, grupos u 
organizaciones que tienen un interés en 
una empresa, proyecto u organización, y 
que pueden verse afectados por las 
decisiones o acciones que se tomen en su 
relación con ella 


Audiencias, beneficiarios indirectos 
Personas, instituciones u organizaciones que 
están interesadas, relacionadas o se ven 
afectadas positiva o negativamente por las 
acciones de la 
institución/organización/empresa 

Pueden ser sociales, del giro del negocio, 
miembros de la comunidad educativa, 
competencia, personas /empresas que 
tienen afinidad, intereses o valores similares. 
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Proyecto Innovador en Marco Lógico 


Objetivos. Una vez que ha quedado claro 
en qué punto se encuentra tu negocio, el 
siguiente punto será fijar los objetivos que 
buscas con el encargo. Recuerda que 
deben ser objetivos SMART, es decir, 
específicos, medibles, alcanzables, 
relevantes y temporalizados. Puedes 
completar este apartado incorporando las 
KPIs que se aplicarán para medir la 
consecución de las metas. 


Objetivos. 


Resultados que se pretenden alcanzar en un 
tiempo determinado y que definen el 
propósito del proyecto. Son un elemento 
clave del plan del proyecto y deben 
establecerse al comienzo. 


Los objetivos de un proyecto deben 

ser: Concretos, Medibles, Delimitados en el 
tiempo, Coherentes con la misión del 
proyecto. 


Los objetivos permitirán establecer las 
variables categóricas y los indicadores los 
cuáles pueden ser KPIs para la evaluación y 
medición de la ejecución 


Los indicadores son herramientas de control 
para los procesos operativos que apoyan a la 
toma de decisiones. 


Mensaje. 

Para que el estilo de la propuesta final 
concuerde con tus expectativas también 
debes exponer someramente el mensaje 
que deseas trasladar con la actuación, así 
como el tono que buscas. Por ejemplo, 
una empresa que diseña camisetas con 
mensajes reivindicativos usará un estilo 
irreverente y transgresor en sus 
comunicaciones. 


Acciones. 

La propuesta presenta acciones o actividades 
específicas que se llevará a cabo para 
producir los resultados deseados. 

Implican el uso de recursos económicos, 
materiales y humanos. 


Necesidades y restricciones. Es probable 
que tengas algunas ideas claras sobre lo 
que quieres y lo que no quieres. En ese 
caso, es importante que las compartas 
dentro del documento. Por ejemplo, 
puedes indicar que se debe evitar 
imágenes donde las personas miren 
directamente a cámara o que el eslogan 
de la campaña debe ser uno en concreto. 


Línea meta 

Las metas y los avances permiten tener un 
punto de comparación para emitir un juicio 
sobre el desempeño 

Se establecen indicadores meta que son 
quienes sirven para medir el 
comportamiento del proyecto, el nivel y el 
logro del objetivo y metas planteadas. 

Se debe tener en cuenta los supuesto 
(acciones que deben suceder para lograr los 
objetivos y las actividades), las limitaciones 
que se tienen. 


Presupuesto. 


¿Con qué recursos económicos contará el 
colaborador externo para llevar a cabo el 


Presupuesto 

Un presupuesto es un plan que detalla las 
operaciones y recursos que se necesita para 
lograr en un cierto periodo los objetivos 
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proyecto? Si no quieres llevarte sorpresas | propuestos y se expresa en términos 
en la factura, especifica el presupuesto monetarios 
máximo previsto para la acción. 


Cronograma 

No es directamente del marco lógico, pero se 
lo presenta para saber el avance de la 
planificación y gestión de las actividades del 
proyecto. 

Es una herramienta que ayuda a estructurar 
los tiempos de las acciones y se centran en 
los objetivos y la participación de las partes. 


Plazos. Por último, no te olvides de 
concretar los plazos de ejecución del 
proyecto, es decir, los entregables o hitos 
que debe cumplir la empresa (como una 
propuesta inicial la primera semana y un 
primer boceto a los 30 días) y la fecha de 
entrega final de la actuación. 


*En el marco lógico hay otros items que son importantes para lograr su ejecución 
. lluvia de ideas 

. Selección de propuesta 

. Análisis de involucrados (beneficiarios directos, indirectos y audiencias) 
. Árbol de problemas 

. Árbol de objetivos 

. Análisis de alternativas (para la resolución de la propuesta) 

. Estructura analítica del proyecto 

. Resumen narrativo (Matriz de Marco Lógico, cronograma) 

. Indicadores objetivamente verificables 

10. Medios de verificación 

11. Supuesto 

10. Monitoreo y evaluación 


O OO Y] MU + UNE 
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Vactual — valor inversión 


. VAN = 0: Proyecto indiferente en 
términos de rentabilidad. 


50000-50000=0 

. VAN > 0: Proyecto rentable y viable. 
60000-50000=+10000 

. VAN < 0: Proyecto no viable. 
10000-50000= -40000 


Tir 


> L, 
VAN la t (l +ri u 
ma] 


In = Inversión imécial 

Ca = Flujo de caja o de beneficios generados por la inversion en cada periodo 
N = Número total de periodos 

n = Año en dal que se van obleniendo los beneñicios de cada pertodo 

r = TIR 


>18% si funciona es rentable es viable 


Groso modo veo si es viable 


Cuánto vale mi dólar 

Tasas activa referencial 16.27% 
(préstamos) 

Tasa pasiva 1.45% (ahorros) 
Inflación 1.87% 

Riesgo país. 11.89% (1.189/100) 
Sin préstamo 

(tact — tápasiva)+inflación= 
(16.27-1.45)+1.87= 16.69 


Mi dólar de hoy -> mañana 1.17 
Con préstamo 
(tact — tápasiva)+inflación+riesgo país= 


28.58 


1->1.3 


Si quiero recuperar mi dinero básico 
en 12 meses 


$350.000/12mese= $29167 
Cuantos estudiantes 150 = $194 
mensuales por estudiante 


$ 385740/12meses=$32145 
Cuantos estudiantes 150 = $215 
mensuales por estudiante 


Punto de equilibrio ni pierdo ni gano 


Mínimo se necesita ganar un 18% 
Sin préstamo el estudiante pagaría 
$229 

Con préstamo el estudiante pagaría 
$254 


Yo gano 18% 
Si quiero recuperar en 24 meses 


Inversión + costo dinero 1 año + costo 
dinero 2 año 


Enero-marzo 0 ingreso 


Abril a diciembre todo el ingreso 
necesario para el año 


